FITURE

If you can fight, fight.

首页 >> 分享>>如何在本地安装并运行国产开源 DeepSeek 大模型

如何在本地安装并运行国产开源 DeepSeek 大模型

Posted by fiture / 2025年01月31日 / 分享

1. DeepSeek 简单介绍

DeepSeek 是一个由国内团队研发的开源大模型由深度求索(DeepSeek)公司开发,提供了多种参数规模的版本,以满足不同用户的需求。DeepSeek 具备强大的自然语言处理能力,可用于对话、代码生成、文本摘要等任务。与 LLaMA、Mistral、Gemma 等主流开源模型类似,DeepSeek 也可以通过本地部署运行,避免 API 调用的限制和隐私问题。

2. Ollama 简介:类似 Docker 的大模型运行环境

Ollama 是一个用于本地运行和管理大模型的轻量级软件,它的使用方式类似于 Docker。Ollama 提供了一个模型市场(Ollama 模型库),用户可以像拉取 Docker 镜像一样,轻松下载和运行各种开源大模型。

目前 Ollama 支持的热门模型包括:

  • LLaMA 2(Meta 开源的语言模型)
  • Mistral 7B(轻量级高性能模型)
  • Gemma(谷歌开源模型)
  • DeepSeek(本文要介绍的模型)

DeepSeek 也是 Ollama 官方支持的模型之一,用户可以直接拉取并在本地运行。

3. 在本地运行 DeepSeek

安装并运行 DeepSeek 需要以下步骤:

1)安装 Ollama

Ollama 支持 macOS 和 Linux和Windows。在 macOS 上,可以使用以下命令安装:

curl -fsSL https://ollama.com/install.sh | sh

人工补充:可以直接下载软件安装,下载地址

安装完成后,运行 ollama --version 确保安装成功。

2)下载并运行 DeepSeek

一行命令即可运行 DeepSeek:

ollama run deepseek-r1:7b

这个命令会自动下载并运行DeepSeek的7B版本模型。7B表示模型有70亿个参数,适合在一般的个人电脑上运行,这将自动拉取 DeepSeek-R1 7B 模型并运行它。运行后,你可以在终端与模型进行对话。
你也可以在 DeepSeek-R1 7B 官方页面 查看详细信息。

3)选择合适的模型版本

不同大小的模型对硬件的需求不同:

  • 小于 8B(推荐):适用于一般消费级电脑,如 Mac M1/M2/M3 或者 16GB 内存的 PC。
  • 8B 及以上:适用于 24GB+ 显存的 GPU 设备,否则运行可能会卡顿或无法加载。

4. Mac M2 Pro 运行 DeepSeek 体验

博主的设备是 MacBook Pro M2 Pro(CPU)/16GB 内存,在本地运行 7B 级别的 DeepSeek 体验良好,响应速度较快,但可能会受限于内存,长时间运行可能导致系统性能下降。如果你的设备内存较小,建议选择更轻量级的模型,如 4B 或 3B 版本。

5. 在 Chrome 上使用 Page Assist 插件

除了在本地终端运行 DeepSeek,你还可以使用 Page Assist 这款 Chrome 插件,它可以让你直接在浏览器中与本地 Ollama 运行的模型进行交互。Page Assist 提供了更友好的 UI,使得本地大模型的调用更加直观。

Page Assist 安装步骤
  1. 打开 Chrome 浏览器,访问 Page Assist 官方页面(如果已上架 Chrome Web Store,则可直接搜索 “Page Assist”)。
  2. 点击 “添加至 Chrome” 按钮,安装插件。
  3. 安装完成后,在插件设置中选择 Ollama 作为本地模型提供方,并确保你的 Ollama 进程正在运行。
  4. 之后,你可以在浏览网页时,随时调用本地的大模型进行翻译、摘要、问答等操作!

6. 其他优化建议

  • 使用 GPU 加速(Mac M 系列):Ollama 目前会自动优化 Apple Silicon,但 M1/M2 仍然受内存限制,建议尽量减少后台程序占用。
  • 调整缓存与存储位置:如果硬盘空间有限,可以修改 OLLAMA_CACHE_DIR 环境变量,指定模型的存储位置。
  • 与 API 结合使用:可以用 ollama serve 在本地启动 API 端点,并通过 Python 或其他编程语言调用本地模型。

本文由chatgpt生成,我只写了个大纲。

3条回应:“如何在本地安装并运行国产开源 DeepSeek 大模型”

发表评论

电子邮件地址不会被公开。 必填项已用*标注