首页 >> 分享>>如何在本地安装并运行国产开源 DeepSeek 大模型
如何在本地安装并运行国产开源 DeepSeek 大模型
1. DeepSeek 简单介绍
DeepSeek 是一个由国内团队研发的开源大模型由深度求索(DeepSeek)公司开发,提供了多种参数规模的版本,以满足不同用户的需求。DeepSeek 具备强大的自然语言处理能力,可用于对话、代码生成、文本摘要等任务。与 LLaMA、Mistral、Gemma 等主流开源模型类似,DeepSeek 也可以通过本地部署运行,避免 API 调用的限制和隐私问题。
2. Ollama 简介:类似 Docker 的大模型运行环境
Ollama 是一个用于本地运行和管理大模型的轻量级软件,它的使用方式类似于 Docker。Ollama 提供了一个模型市场(Ollama 模型库),用户可以像拉取 Docker 镜像一样,轻松下载和运行各种开源大模型。
目前 Ollama 支持的热门模型包括:
- LLaMA 2(Meta 开源的语言模型)
- Mistral 7B(轻量级高性能模型)
- Gemma(谷歌开源模型)
- DeepSeek(本文要介绍的模型)
DeepSeek 也是 Ollama 官方支持的模型之一,用户可以直接拉取并在本地运行。
3. 在本地运行 DeepSeek
安装并运行 DeepSeek 需要以下步骤:
1)安装 Ollama
Ollama 支持 macOS 和 Linux和Windows。在 macOS 上,可以使用以下命令安装:
curl -fsSL https://ollama.com/install.sh | sh
人工补充:可以直接下载软件安装,下载地址
安装完成后,运行 ollama --version
确保安装成功。
2)下载并运行 DeepSeek
一行命令即可运行 DeepSeek:
ollama run deepseek-r1:7b
这个命令会自动下载并运行DeepSeek的7B版本模型。7B表示模型有70亿个参数,适合在一般的个人电脑上运行,这将自动拉取 DeepSeek-R1 7B 模型并运行它。运行后,你可以在终端与模型进行对话。
你也可以在 DeepSeek-R1 7B 官方页面 查看详细信息。
3)选择合适的模型版本
不同大小的模型对硬件的需求不同:
- 小于 8B(推荐):适用于一般消费级电脑,如 Mac M1/M2/M3 或者 16GB 内存的 PC。
- 8B 及以上:适用于 24GB+ 显存的 GPU 设备,否则运行可能会卡顿或无法加载。
4. Mac M2 Pro 运行 DeepSeek 体验
博主的设备是 MacBook Pro M2 Pro(CPU)/16GB 内存,在本地运行 7B 级别的 DeepSeek 体验良好,响应速度较快,但可能会受限于内存,长时间运行可能导致系统性能下降。如果你的设备内存较小,建议选择更轻量级的模型,如 4B 或 3B 版本。
5. 在 Chrome 上使用 Page Assist 插件
除了在本地终端运行 DeepSeek,你还可以使用 Page Assist 这款 Chrome 插件,它可以让你直接在浏览器中与本地 Ollama 运行的模型进行交互。Page Assist 提供了更友好的 UI,使得本地大模型的调用更加直观。
Page Assist 安装步骤
- 打开 Chrome 浏览器,访问 Page Assist 官方页面(如果已上架 Chrome Web Store,则可直接搜索 “Page Assist”)。
- 点击 “添加至 Chrome” 按钮,安装插件。
- 安装完成后,在插件设置中选择 Ollama 作为本地模型提供方,并确保你的 Ollama 进程正在运行。
- 之后,你可以在浏览网页时,随时调用本地的大模型进行翻译、摘要、问答等操作!
6. 其他优化建议
- 使用 GPU 加速(Mac M 系列):Ollama 目前会自动优化 Apple Silicon,但 M1/M2 仍然受内存限制,建议尽量减少后台程序占用。
- 调整缓存与存储位置:如果硬盘空间有限,可以修改
OLLAMA_CACHE_DIR
环境变量,指定模型的存储位置。 - 与 API 结合使用:可以用
ollama serve
在本地启动 API 端点,并通过 Python 或其他编程语言调用本地模型。
本文由chatgpt生成,我只写了个大纲。
3fnbnh
kuar2b
evl2q7