这里选用 vllm 的方案，引出 API 方便调用

sudo apt update  #更新软件包列表
sudo apt install git #安装 git

检查显卡驱动，如返回方框信息则成功

上一步返回值中有 CUDA Version 字段，根据版本到 

sudo sh cuda_11.7.0_515.43.04_linux.run #根据对应文件名修改


取消勾选驱动（如果已经安装，没有安装可以直接通过此处安装）

export PATH=/usr/local/cuda-11.7/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH


https://developer.nvidia.com/rdp/cudnn-archive

# 解压文件
tar -xzvf cudnn-11.7-linux-x64-v8.x.x.x.tgz 
# 复制对应文件到目录
sudo cp cuda/include/cudnn*.h/usr/local/cuda-11.7/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.7/lib64
sudo chmod a+r /usr/local/cuda-11.7/include/cudnn*.h/usr/local/cuda-11.7/lib64/libcudnn*


cat /usr/local/cuda-11.7/include/cudnn_version.h | grep CUDNN_MAJOR -A 2


** 安装 pytorch (后面链接需要根据 cuda 版本变动)**

pip install torch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 --index-url https://download.pytorch.org/whl/cu117


验证安装，执行如下 Python 代码

import torch
print (torch.__version__)  # 检查 PyTorch 版本
print (torch.cuda.is_available ())  # 如果返回 True，说明 GPU 可用
print (torch.version.cuda)         # 查看 PyTorch 使用的 CUDA 版本


如果网络环境不好可以从魔搭社区拉取模型

sudo apt-get install git-lfs #安装 git-lfs
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git


vllm serve "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B" # 如从上文拉取模型此处需要填写文件夹路径


curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
		"messages": [
			{
				"role": "user",
				"content": "你是谁？"
			}
		]
	}'

为了方便这里我们可以安装一个 

，这里提供安装方式，不再赘述。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main


DeepSeek r1本地部署手把手教程

腾讯云TDP产品KOL

人工智能

Windows

Docker

Python

Ubuntu

2025春季采购节

2核2G3M云服务器 新用户低至38元/年！

参与人人有奖，腾讯云大模型知识引擎×DeepSeek最佳实践有奖征文正在进行中！点击查看活动详情：<a href="https://cloud.tencent.com/developer/article/2496399" target="_blank">https://cloud.tencent.com/developer/article/2496399</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/e8d8f79b0ec4658f3274a7d56238daf4.jpg"/>

DeepSeek r1本地部署手把手教程

DeepSeek r1本地部署手把手教程

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐