混元 Hy3 在训练阶段采用了哪些方法？

1. 基础设施重建与后训练扩展

腾讯混元在 2026 年 2 月重建了预训练与强化学习的基础设施，并以 Hy3 preview 作为重建后的首个模型。正式版在此基础上进一步提升了后训练的算力规模以及数据的质量与多样性，使模型在各类任务上较 preview 版再次跃升。官方将这一节奏概括为"先以 preview 形式开放、收集反馈后再发布正式版"，自重建以来平均每两个月推出一个大版本。

2. 能力体系化的训练取向

混元在重建时确立了三条实用性原则。第一是能力体系化，不追求单一能力的偏科，因为即便是代码智能体这类单一应用，也涉及推理、长文、指令、对话、代码与工具等多种能力的深度协同，需要模型在多维度上同时可用。第二是评测真实性，主动跳出易被刷榜的公开榜单，通过自建题目、最新考试、人工评测、产品众测等多种方式评估和改进模型的实际表现。第三是性价比追求，深度协同模型架构与推理框架的设计，降低任务成本。

3. 强化学习与训练工具链

在训练侧，官方开源仓库提供了完整的后训练链路，支持使用 verl 进行 GRPO 强化学习训练，配合 Megatron-LM 与 NVIDIA Megatron-Bridge 完成模型转换，并以 vLLM 作为强化学习阶段的 rollout 引擎。微调方面，仓库提供全量微调与 LoRA 微调流程，内置 ds_zero2_no_offload、ds_zero3_no_offload、ds_zero3_offload 三套 DeepSpeed ZeRO 配置，并集成 LLaMA-Factory，提供 hy_v3_full_sft.yaml 与 hy_v3_lora_sft.yaml 两套训练配置，同时兼容 ms-swift 训练框架。

此外，混元还开源了 AngelSlim 压缩工具包，用于模型量化与推测采样，覆盖低比特量化等常见压缩算法。