钛媒体App 4月2日消息,APUS与新旦智能联合训练、研发的千亿MoE(Mixture of Experts)架构大模型,在GitHub上正式开源。该模型在4090之类低端算力芯片上,综合性能达到GPT-4 的90%。据钛媒体App了解,APUS-xDAN 大模型4.0特点是多专家模型组合,实际运行效率对比传统Dense同尺寸模型效率提升200%,推理成本下降400%。在实际部署上,模型尺寸缩小500%,是国内首个可在消费级显卡运行的千亿MoE中英文大模型。
领取专属 10元无门槛券
私享最新 技术干货