本地快速部署DeepSeek运行AI大模型

[i=s] 本帖最后由 沈夜 于 2025-1-29 12:00 编辑 [/i]<br /> <br />

如何在Windows上使用Ollama运行AI大模型

1. 下载和安装Ollama

Ollama是一个用于管理和运行AI大模型的工具，能够帮助我们节省大量调试代码依赖库的时间。以下是安装步骤：

1. 访问官网：打开Ollama的官方网站，找到“Download”页面。https://ollama.com/download
2. 选择操作系统：官网提供了macOS、Linux和Windows三种操作系统的版本。选择“Download for Windows”进行下载。
3. 安装Ollama：下载完成后，双击安装文件，按照提示完成安装。注意安装过程中的选项设置。

2. 运行Ollama

安装完成后，Ollama会在系统右下角的托盘区域显示图标。虽然右键点击图标会有一些选项，但Ollama并没有图形用户界面（UI），而是通过命令行进行操作。

1. 打开CMD：按下 Win键，输入 cmd，然后按回车键打开命令提示符窗口。

2. 运行Ollama：在CMD中输入以下命令来运行AI大模型：

   ollama run yourModel

   其中，yourModel是你想要安装和运行的AI大模型名称。

3. 选择适合的AI大模型

Ollama支持多种AI大模型，如 llama、deepseek、qwen等。每个模型还有不同的参数版本，适合不同配置的电脑。

• 1.5B：适合普通个人电脑，显存需求为1GB。
• 7B/8B：适合显存为8GB的电脑。
• 14B：适合显存为12GB或16GB的电脑。
• 32B：适合显存为24GB的电脑。
• 70B：适合显存为40GB以上的电脑。

例如，如果你的电脑显存为16GB，可以运行以下命令：

ollama run deepseek-r1:14b

等待下载完成后，Ollama会自动进入聊天界面。

低配选择 低配电脑 Ollama run ollama run deepseek-r1:7b

我也刚本地跑完， 实际效果还行7B但是不知道正确率多少。这些模型好像都是蒸馏过的， 不知道他们生产环境的有多厉害

紧跟时事

厉害~

佬 这跟进也太快了

强👍

👍

本地跑过7b, 一般般

ragflow怎么搞