高性能应用服务 HAI 基于腾讯云海量、弹性的GPU算力,提供即插即用的高性能云服务。是一款面向 AI 、科学计算的 GPU 应用服务产品,提供即插即用的澎湃算力与常见环境,助力中小企业及开发者快速部署 LLM。
简单理解就是,HAI是有GPU算力的服务,可以用于各种AI产品的部署,当然也可以部署DeepSeek。
进入 HAI 产品页面,按下图所示,选择社区应用,应用选择 Deepseek-R1,购买开通即可。
在线购买完成后,系统自动开始创建HAI应用。
创建完成后,选择算力连接 > OpenWebUI。
因为教程示例创建的应用是DeepSeek-R1+Open WebUI,所以此处选择OpenWebUI。
至此私有化部署及设置DeepSeek已完成,可以进行对话。系统默认已安装部分DeepSeek模型,可以直接选择使用。
点击右上角按钮可以进入高级设置,适合对AI模型有一定了解的用户配置。
DeepSeek-R1就是深度搜索-R1模型,包含Distilled models 的是蒸馏模型。
模型 | 模型名 | 模型大小 |
---|---|---|
DeepSeek-R1-Distill-Qwen-1.5B | deepseek-r1:1.5b | 1.1G |
DeepSeek-R1-Distill-Qwen-7B | deepseek-r1:7b | 4.7G |
DeepSeek-R1-Distill-Llama-8B | deepseek-r1:8b | 4.9G |
DeepSeek-R1-Distill-Qwen-14B | deepseek-r1:14b | 9.0G |
DeepSeek-R1-Distill-Qwen-32B | deepseek-r1:32b | 20G |
DeepSeek-R1-Distill-Llama-70B | deepseek-r1:70b | 43G |
DeepSeek-R1 | deepseek-r1:671b | 404G |
从表中可以看出,模型参数越大则文件体积越大,相应的对硬件要求也就越高。从运行结果来看,拥有更大参数量的模型(如DeepSeek-R1)在推理效果上更胜一筹,但另一方面,更小参数的 Distilled models(蒸馏模型)模型的响应速度更快、占用资源更少、部署时长更短,在处理较为简单的任务时,仍是不错的选择。
具体选择要根据服务硬件参数来决定,配置低的就选择低参数量,如要追求更好的推理结果,高参数量的模型也必须搭配高配置的服务。
如果运行一个模型响应很卡顿,大概率说明服务配置不够,可以考虑升级配置或降低模型参数量。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。