本帖最后由 沈夜 于 2025-1-29 12:00 编辑
如何在Windows上使用Ollama运行AI大模型
1. 下载和安装Ollama
Ollama是一个用于管理和运行AI大模型的工具,能够帮助我们节省大量调试代码依赖库的时间。以下是安装步骤:
- 访问官网:打开Ollama的官方网站,找到“Download”页面。https://ollama.com/download
- 选择操作系统:官网提供了macOS、Linux和Windows三种操作系统的版本。选择“Download for Windows”进行下载。
- 安装Ollama:下载完成后,双击安装文件,按照提示完成安装。注意安装过程中的选项设置。
2. 运行Ollama
安装完成后,Ollama会在系统右下角的托盘区域显示图标。虽然右键点击图标会有一些选项,但Ollama并没有图形用户界面(UI),而是通过命令行进行操作。
-
打开CMD:按下 Win键 ,输入 cmd ,然后按回车键打开命令提示符窗口。
-
运行Ollama:在CMD中输入以下命令来运行AI大模型:
ollama run yourModel
其中,yourModel 是你想要安装和运行的AI大模型名称。
3. 选择适合的AI大模型
Ollama支持多种AI大模型,如 llama 、deepseek 、qwen 等。每个模型还有不同的参数版本,适合不同配置的电脑。
- 1.5B:适合普通个人电脑,显存需求为1GB。
- 7B/8B:适合显存为8GB的电脑。
- 14B:适合显存为12GB或16GB的电脑。
- 32B:适合显存为24GB的电脑。
- 70B:适合显存为40GB以上的电脑。
例如,如果你的电脑显存为16GB,可以运行以下命令:
ollama run deepseek-r1:14b
等待下载完成后,Ollama会自动进入聊天界面。
低配选择
低配电脑
Ollama run ollama run deepseek-r1:7b |