混元 Hy3 基于什么模型架构设计？

1. 混合专家（MoE）架构

Hy3 采用混合专家（Mixture-of-Experts, MoE）架构。其核心设计在于模型内部署了 192 个专家模块，每个 token 仅激活其中 8 个（Top-8 路由），在保证推理密度的同时把单次前向计算的实际参数量压低到总规模的约十四分之一。模型主体共 80 层，注意力采用分组查询注意力（GQA）结构，配置 64 个注意力头与 8 个 KV 组，注意力头维度为 128，隐藏层维度 4096，前馈层中间维度 13312，词表规模 120,832，默认精度为 BF16。

2. 推测解码层

模型在主体之外附加了一层多 token 预测（MTP）推测解码层，参数规模为 3.8B，用于在推理阶段提前预测后续 token 并做并行验证，从而降低生成阶段的解码延迟。计入该层后，仓库中实际落盘的权重规模约为 299B。

3. 并行部署的硬件形态

由于 BF16 完整权重需要较大显存，官方推荐的服务配置为 8 张 GPU，并建议使用 H20-3e 或其他显存容量更大的加速卡。vLLM 与 SGLang 两套官方启动示例均将张量并行度设置为 8。这意味着 Hy3 的自建推理服务属于多卡分布式部署形态，而非单卡可承载的轻量模型。