Deepseek大模型本地化安装部署

本地部署基于 Ollama 的 DeepSeek 模型，可以按照以下步骤操作。Ollama 是一个用于本地运行大型语言模型（LLM）的工具，支持多种模型，包括 DeepSeek。

一. 安装 Ollama

Ollama 支持 macOS 和 Linux 系统。以下是安装步骤：

macOS

1. 打开终端。

2. 运行以下命令安装 Ollama：

brew install ollama

或者这下载文件（https://ollama.com/download/Ollama-darwin.zip），本地安装

Linux

1. 打开终端。

2. 运行以下命令安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

Windows

Ollama 目前不支持原生 Windows，但可以通过 WSL（Windows Subsystem for Linux）在 Windows 上运行。安装 WSL 后，按照 Linux 的步骤操作。

二. 下载 DeepSeek 模型

Ollama 支持从 Hugging Face 或其他来源加载模型。以下是下载和加载 DeepSeek 模型的步骤：

1. 确保 Ollama 已安装并运行。

2. 使用以下命令下载 DeepSeek 模型：

ollama pull deepseek-r1:1.5b

如果 DeepSeek 不在默认模型列表中，可以手动指定模型文件的路径或 URL。

3. 运行 DeepSeek 模型

下载完成后，可以通过以下命令运行 DeepSeek 模型：

ollama run deepseek-r1:1.5b

运行后，Ollama 会启动一个交互式终端，您可以直接与 DeepSeek 模型对话。

4. 通过 API 调用 DeepSeek 模型

Ollama 提供了一个本地 API，可以通过 HTTP 请求与模型交互。

启动 API 服务

1. 运行以下命令启动 Ollama 的 API 服务：

ollama serve

默认情况下，API 会在 http://localhost:11434 上运行。

发送请求

使用 curl 或编程语言（如 Python）发送请求。以下是一个示例：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek",
  "prompt": "你好，介绍一下你自己",
  "stream": false
}'

Python 示例

import requests

url = "http://localhost:11434/api/generate"
data = {
    "model": "deepseek",
    "prompt": "你好，介绍一下你自己",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json())

5. 优化性能

如果模型运行速度较慢，可以尝试以下优化方法：

• • 使用 GPU：确保系统安装了 CUDA 或 ROCm，并配置 Ollama 使用 GPU。
• • 量化模型：将模型量化为较低精度（如 8-bit 或 4-bit），以减少内存占用和提高速度。
• • 调整参数：降低 max_tokens 或 temperature 以减少计算量。

6. 常见问题

模型无法下载

• • 检查网络连接，确保可以访问 Hugging Face 或模型源。
• • 手动下载模型文件并指定路径。

性能不足

• • 确保硬件满足要求（如足够的内存和 GPU）。
• • 尝试量化模型或使用更小的模型变体。

API 无法访问

• • 检查 Ollama 服务是否正常运行。
• • 确保端口 11434 未被占用。

7. 图像化界面

• 使用chatboxai： 下载 https://chatboxai.app/zh

• 选择模型提供方：OLLAMA API

• 选择模型：deepseek-r1:1.5b