本地快速部署DeepSeek运行AI大模型

[i=s] 本帖最后由 沈夜 于 2025-1-29 12:00 编辑 [/i]<br /> <br /> ### 如何在Windows上使用Ollama运行AI大模型 #### 1. 下载和安装Ollama Ollama是一个用于管理和运行AI大模型的工具，能够帮助我们节省大量调试代码依赖库的时间。以下是安装步骤： 1. **访问官网**：打开Ollama的官方网站，找到“Download”页面。[https://ollama.com/download](https://ollama.com/download) 2. **选择操作系统**：官网提供了macOS、Linux和Windows三种操作系统的版本。选择“Download for Windows”进行下载。 3. **安装Ollama**：下载完成后，双击安装文件，按照提示完成安装。注意安装过程中的选项设置。 #### 2. 运行Ollama 安装完成后，Ollama会在系统右下角的托盘区域显示图标。虽然右键点击图标会有一些选项，但Ollama并没有图形用户界面（UI），而是通过命令行进行操作。 1. **打开CMD**：按下 `Win键`，输入 `cmd`，然后按回车键打开命令提示符窗口。 2. **运行Ollama**：在CMD中输入以下命令来运行AI大模型： ``` ollama run yourModel ``` 其中，`yourModel`是你想要安装和运行的AI大模型名称。 #### 3. 选择适合的AI大模型 Ollama支持多种AI大模型，如 `llama`、`deepseek`、`qwen`等。每个模型还有不同的参数版本，适合不同配置的电脑。 - **1.5B**：适合普通个人电脑，显存需求为1GB。 - **7B/8B**：适合显存为8GB的电脑。 - **14B**：适合显存为12GB或16GB的电脑。 - **32B**：适合显存为24GB的电脑。 - **70B**：适合显存为40GB以上的电脑。 例如，如果你的电脑显存为16GB，可以运行以下命令： ``` ollama run deepseek-r1:14b ``` 等待下载完成后，Ollama会自动进入聊天界面。 低配选择 低配电脑 Ollama run ollama run deepseek-r1:7b

ragflow怎么搞

本地跑过7b, 一般般

👍

强👍

佬 这跟进也太快了

厉害~

紧跟时事

我也刚本地跑完， 实际效果还行7B但是不知道正确率多少。这些模型好像都是蒸馏过的， 不知道他们生产环境的有多厉害