用腾讯云HAI和vllm快速部署腾讯混元7B模型
原创
用腾讯云HAI和vllm快速部署腾讯混元7B模型
原创
无名之辈Young
发布于 2025-08-07 14:23:01
发布于 2025-08-07 14:23:01
最近腾讯混元刚开源了混元7B模型，我就在想能不能用最快的方法把混元7B模型部署到服务器上，正好腾讯云的高性能应用服务器（HAI）有PyTorch环境，所以我就用腾讯云HAI和vllm部署了腾讯混元7B模型，大家直接看下面的视频跟着做即可（如果大家遇到问题请在评论区问我就行），如果网速好的情况下部署模型的总时间不会超过1个小时，整个部署过程总共花费的成本也不会超过4元，我花了3.54元：
我的腾讯云账单截图
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
腾讯云开发者
