DeepSeek-V3采用全新的数据蒸馏技术

日前，深度求索DeepSeek-V3横空出世，在AI行业内引发巨震，关键原因之一就是预训练成本之低——这个参数量高达671B的大模型，在预训练阶段仅使用2048块GPU训练了2个月，且只花费557.6万美元。与此同时，DeepSeek-V3相比其他前沿大模型，性能却足以比肩乃至更优。

在这背后，DeepSeek-V3采用了用于高效推理的多头潜在注意力（MLA）和用于经济训练的DeepSeekMoE。研发团队证明，多Token预测目标（Multi-Token Prediction，MTP）有利于提高模型性能，可以用于推理加速的推测解码。后训练方面，DeepSeek V3引入了一种创新方法，将推理能力从长思维链模型（DeepSeek R1）中，蒸馏到标准模型上。这在显著提高推理性能的同时，保持了DeepSeek V3的输出风格和长度控制。

新大陆：公司基于对场景的理解能力，深入垂直场景需求通过数据蒸馏形成高质量小模型算法，并运用于垂直场景的分析和预警。截止目前，公司大模型应用已服务涵盖运营商、教育机构等领域。