本地快速部署DeepSeek运行AI大模型

[复制链接]
查看832 | 回复4 | 2025-1-29 11:59:03 | 显示全部楼层 |阅读模式

本帖最后由 沈夜 于 2025-1-29 12:00 编辑

如何在Windows上使用Ollama运行AI大模型

1. 下载和安装Ollama

Ollama是一个用于管理和运行AI大模型的工具,能够帮助我们节省大量调试代码依赖库的时间。以下是安装步骤:

  1. 访问官网:打开Ollama的官方网站,找到“Download”页面。https://ollama.com/download
  2. 选择操作系统:官网提供了macOS、Linux和Windows三种操作系统的版本。选择“Download for Windows”进行下载。
  3. 安装Ollama:下载完成后,双击安装文件,按照提示完成安装。注意安装过程中的选项设置。

2. 运行Ollama

安装完成后,Ollama会在系统右下角的托盘区域显示图标。虽然右键点击图标会有一些选项,但Ollama并没有图形用户界面(UI),而是通过命令行进行操作。

  1. 打开CMD:按下 Win键,输入 cmd,然后按回车键打开命令提示符窗口。

  2. 运行Ollama:在CMD中输入以下命令来运行AI大模型:

    ollama run yourModel

    其中,yourModel是你想要安装和运行的AI大模型名称。

3. 选择适合的AI大模型

Ollama支持多种AI大模型,如 llamadeepseekqwen等。每个模型还有不同的参数版本,适合不同配置的电脑。

  • 1.5B:适合普通个人电脑,显存需求为1GB。
  • 7B/8B:适合显存为8GB的电脑。
  • 14B:适合显存为12GB或16GB的电脑。
  • 32B:适合显存为24GB的电脑。
  • 70B:适合显存为40GB以上的电脑。

例如,如果你的电脑显存为16GB,可以运行以下命令:

ollama run deepseek-r1:14b

等待下载完成后,Ollama会自动进入聊天界面。

低配选择 低配电脑 Ollama run ollama run deepseek-r1:7b

回复

使用道具 举报

WangChong | 2025-1-29 13:40:29 | 显示全部楼层
我也刚本地跑完, 实际效果还行7B但是不知道正确率多少。这些模型好像都是蒸馏过的, 不知道他们生产环境的有多厉害
回复 支持 反对

使用道具 举报

紧跟时事
回复

使用道具 举报

爱笑 | 前天 08:51 | 显示全部楼层
厉害~
用心做好保姆工作
回复

使用道具 举报

1055173307 | 前天 09:39 | 显示全部楼层
这跟进也太快了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则