首页
学习
活动
专区
圈层
工具
发布

腾讯云开源DeepSeek量化部署方案:性能最高提升3.9X!

当前针对MoE模型,社区普遍使用W4AFP8 混合量化方案,这种量化方案的特点在于: 对权重(Weight)采用 INT4 量化,对激活(Activation)采用 FP8 动态量化; 只对普通专家权重使用...W4AFP8混合量化方案 通过上述W4AFP8混合量化方案,可以将DeepSeek系列模型大小从689GB减小到 367GB,从而可以实现单机八卡部署,推理成本降低 50%。...TP并行和EP并行的权重划分对比示意图 SGLang中最初针对W4AFP8模型的推理方案是EP并行。...SGLang中W4AFP8量化模块架构图,深色为TP并行需要修改的部分 为此,腾讯云联合小红书Hilab Infra团队,为SGLang提供了完整的 W4AFP8模型TP并行推理实现。...在开发过程中,团队深入分析了模型结构,修改了SGLang中与模型权重加载相关的代码,确保W4AFP8格式的量化权重能被正确切分并加载到TP组内的各个GPU中;另外,我们重构了CUDA内核调度模块,修改了

59510
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    网络邻居发现协议大比拼,WindowsLinuxMac系统局域网服务发现协议之-八大金刚

    因为历史原因,早期的AFP协议升级后已经没有开源协议可以完美支持,因此使用avahi的mDNS服务时,如果还使能了AFP业务的话,MAC会显示为大问号....AFP-在新MAC版本上的展示 使用配置好的服务文件,MAC可以正常显示设备 PDNAS-MACOS-NETWORK-NEIGHBOR 在调试过程中,还看到了网络邻居显示为PC的图标,有知道显示为这个图标的条件的小伙伴吗...Server Message Block SMB 是MS家 的协议,奇怪吧: Samba是*nix系统上的一个SMB协议的实现,是早期为了和Windows兼容文件共享而做的功能.目前MAC已经全面放弃自己的AFP...AFP Apple Filing Protocol AFP Apple家的私有协议,开源有netatalk 实现. AFP升级加密后,netatalk也不能和新版本的MAC兼容....苹果已经全面投向SMB的怀抱,AFP基本上可以忽略了.

    4.1K00
    领券