7月28日晚,摩尔线程官微宣布公司基于AI训推一体智算卡MTT S5000及MUSA软件栈,7月28日完成Kimi K3的适配。
当日,月之暗面正式开源2.8万亿参数模型Kimi K3,并发布模型权重与技术报告。同日,摩尔线程基于AI训推一体智算卡MTT S5000及MUSA软件栈,率先完成Kimi K3的极速适配与稳定拉起。这不仅展现了MUSA软件生态面向前沿模型的快速响应与全栈协同能力,也再次验证了国产全功能GPU支撑万亿级大模型创新的工程实力。
作为全球首个开源的3万亿级别模型,也是Kimi迄今能力最强的模型,Kimi K3拥有2.8万亿参数,基于KDA混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,采用Gated MLA与Stable LatentMoE等架构创新,原生支持视觉理解,并拥有100万token上下文窗口,面向长程编程、知识工作和推理等前沿智能场景而设计。