发帖
8 1 1

本地快速部署DeepSeek运行AI大模型

沈夜
论坛元老

57

主题

170

回帖

7001

积分

论坛元老

积分
7001
技术杂谈 1415 8 2025-1-29 11:59:03

[i=s] 本帖最后由 沈夜 于 2025-1-29 12:00 编辑 [/i]<br /> <br />

如何在Windows上使用Ollama运行AI大模型

1. 下载和安装Ollama

Ollama是一个用于管理和运行AI大模型的工具,能够帮助我们节省大量调试代码依赖库的时间。以下是安装步骤:

  1. 访问官网:打开Ollama的官方网站,找到“Download”页面。https://ollama.com/download
  2. 选择操作系统:官网提供了macOS、Linux和Windows三种操作系统的版本。选择“Download for Windows”进行下载。
  3. 安装Ollama:下载完成后,双击安装文件,按照提示完成安装。注意安装过程中的选项设置。

2. 运行Ollama

安装完成后,Ollama会在系统右下角的托盘区域显示图标。虽然右键点击图标会有一些选项,但Ollama并没有图形用户界面(UI),而是通过命令行进行操作。

  1. 打开CMD:按下 Win键,输入 cmd,然后按回车键打开命令提示符窗口。

  2. 运行Ollama:在CMD中输入以下命令来运行AI大模型:

    ollama run yourModel

    其中,yourModel是你想要安装和运行的AI大模型名称。

3. 选择适合的AI大模型

Ollama支持多种AI大模型,如 llamadeepseekqwen等。每个模型还有不同的参数版本,适合不同配置的电脑。

  • 1.5B:适合普通个人电脑,显存需求为1GB。
  • 7B/8B:适合显存为8GB的电脑。
  • 14B:适合显存为12GB或16GB的电脑。
  • 32B:适合显存为24GB的电脑。
  • 70B:适合显存为40GB以上的电脑。

例如,如果你的电脑显存为16GB,可以运行以下命令:

ollama run deepseek-r1:14b

等待下载完成后,Ollama会自动进入聊天界面。

低配选择 低配电脑 Ollama run ollama run deepseek-r1:7b

──── 1人觉得很赞 ────

使用道具 举报

2025-1-29 13:40:29
我也刚本地跑完, 实际效果还行7B但是不知道正确率多少。这些模型好像都是蒸馏过的, 不知道他们生产环境的有多厉害
2025-2-1 22:05:06
紧跟时事
2025-2-5 08:51:51
厉害~
2025-2-5 09:39:16
这跟进也太快了
2025-2-17 15:12:52
强👍
2025-2-17 15:26:45
👍
2025-2-17 16:06:32
本地跑过7b, 一般般
2025-2-18 22:59:05
ragflow怎么搞
您需要登录后才可以回帖 立即登录
高级模式
返回
统计信息
  • 会员数: 28076 个
  • 话题数: 39667 篇