文章背景
😀 最近,一家名叫 DeepSeek 的初创公司经过技术迭代与升级,发布了全新一代大模型,“DeepSeek-V3”。由于这款大模型太过好用,DeepSeek R1 更是直接免费开源,在AI发烧友圈子传播后,传到了海外社交平台、技术论坛,引发了海外网友的连连称赞。
各项性能指标更是和 OpenAI-o1 模型不相上下,甚至做到了小部分的超越,关键是开源的,我们可以在本地部署使用
安装前准备
本次采用云上环境进行部署,腾讯云 Cloud Studio 是一个免费提供10000分钟的开箱即用的一个AI应用平台,免费提供16G显存,8核32G虚拟机。
免费体验地址:https://ide.cloud.tencent.com
1.打开网址Cloud Studio使用微信或QQ等进行网站登录。
2.点击“高性能工作空间”中点击右侧的“新建”按钮。
3.在弹出的窗口中选择”基础型“或者”HAI进阶型“。
4.在弹出的窗口中,空间名称自定义,比如“DeepSeek-R1”,在应用模版中选择“Ollama”后点击新建。
5.等待工作空间创建完成后,显示“运行中”状态后,点击图标跳转IDE环境。
安装配置
1.在弹出的IDE环境中,点击“终端”>“新建终端”。
2.在弹出的终端中输入如下命令检查运行环境。
3.执行如下命令,部署deepseek-r1:14b模型。(执行命令后会进行模型下载,需要等待20分钟左右。)
4.在新建一个bash 终端,执行如下命令进行端口映射。
wget https://mirror.ghproxy.com/https://github.com/VaalaCat/frp-panel/releases/download/latest/frp-panel-client-linux-amd64
chmod +x /workspace/frp-panel-client-linux-amd64
/workspace/frp-panel-client-linux-amd64 client -s 12df23ad-60ac-4a68-ad74-489b0939afcf -i WKP.c
.api -a frp -r frp.7ii.win -c 9001 -p 9000 -e http &
5.在终端启动 deepseek-r1
模型验证
3.1 文本客户端
1.客户端下载ChatGPTNextWeb/NextChat: ✨ Local and Fast AI Assistant. Support: Web | iOS | MacOS | Android | Linux | Windows
下载地址:https://github.com/ChatGPTNextWeb/NextChat
2.安装后点击设置
3.在“接口地址”中填写“http://api.hk.frp.7ii.win:8888/”,在“自定义模型名”中填写“deepseek-r1:14b”
4.切换模型到deepseek-r1:14b
5.调用测试。
3.2 Visual Studio Code 中使用
1.下载并安装Visual Studio Code - Code Editing. Redefined
下载地址:https://code.visualstudio.com
2.安装Cline
下载地址:https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev
3.按照图示填写对应内容。
4.勾选“Auto-approve”所有选项,模式为Act,然后就可以进行对话使用了。
其他模型
# 1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
# 7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
# 8B Llama DeepSeek R1
ollama run deepseek-r1:8b
# 14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
# 32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
# 70B Llama DeepSeek R1
ollama run deepseek-r1:70b
4.1 更多模型下载
4.1.1 DeepSeek-R1
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。
4.1.2 DeepSeek-R1-Distill 模型
DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。
4.2 评估结果
4.2.1 DeepSeek-R1 评估
对于我们所有的模型,最大生成长度设置为 32,768 个 token。对于需要采样的基准,我们使用的温度为0.6,top-p 值为0.95,并为每个查询生成 64 个响应来估计 pass@1。
4.2.2 蒸馏模型评估
免责声明:
本文来源于 Cloud1024 作者的投稿,由于笔者水平有限,尽管经过多次验证和检查,尽力确保内容的准确性,但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
本文所述内容仅通过实战环境验证测试,读者可学习、借鉴,但严禁直接用于生产环境。由此引发的任何问题,作者概不负责!
现在开始带你飞
在未来的技术旅程中,腾讯云 Cloud Stuio携手腾讯云AI代码助手同行,为你提供免费的 GPU 空间和编码神器,腾讯云AI代码助手也将近期支持多模型接入,强烈安利你提前在 IDE 插件市场搜索腾讯云 AI 代码助手,即先下载这款神器——腾讯云 AI 代码助手,本教程以在 Visual Studio Code 中为例。下载Visual Studio Code在插件市场搜索—腾讯云 AI 代码助手,秒安装,微信秒登录
本文分享自 腾讯云CloudStudio 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!