推理模型的训练奖励机制是如何设计的？

推理模型的奖励设计遵循"可验证奖励"（Reinforcement Learning with Verifiable Rewards, RLVR）原则，即奖励信号来自客观可验证的结果，而非人工标注的偏好。

1. 准确率奖励（Accuracy Reward）

• 数学题：通过规则匹配验证最终答案是否正确（如检查 \boxed{} 中的数值）
• 代码题：通过编译运行测试用例，验证代码是否通过所有测试
• 这类奖励信号客观、无歧义，是推理模型训练最核心的奖励来源

2. 格式奖励（Format Reward）

• 要求模型将推理过程放在指定标签内（如 <think> 和 </think>），最终答案放在 <answer> 标签内
• 格式奖励确保输出结构一致，便于后续解析和评估
• DeepSeek-R1-Zero 的奖励即为准确率奖励与格式奖励的等权求和

3. 奖励设计的关键原则

• DeepSeek 团队明确避免使用神经奖励模型（Neural Reward Model）进行推理训练，因为大规模 RL 中神经奖励模型容易遭受"奖励破解"（Reward Hacking）——模型学会利用奖励模型的漏洞获得高分而非真正解决问题
• 基于规则的验证器不存在此类问题，因为其判断标准是确定的、不可被"欺骗"的