推理模型是如何通过强化学习训练出来的？

推理模型的强化学习训练以"结果奖励"为核心驱动力：模型对同一问题生成多个候选回答，根据最终答案的正确性给予奖励信号，通过反复迭代让模型自行发现"更长的、更仔细的推理"能带来更高的奖励，从而自发涌现出推理行为。

1. GRPO 算法

• GRPO（Group Relative Policy Optimization）由 DeepSeek 团队提出，是推理模型训练的主流 RL 算法
• 核心思想：对每个问题采样一组（如 16 个）回答，以组内平均奖励作为基线，无需额外的价值网络（critic）
• 相比 PPO 算法，GRPO 去除了 critic 模型，节省约 25%～30% 的训练显存，使得中等规模的学术团队也能开展 RL 训练

2. 涌现行为

• DeepSeek-R1-Zero 的训练表明，仅通过纯强化学习（无需任何监督微调），模型就能自发学会生成越来越长的思维链
• 训练过程中，模型的平均回答长度随训练步数持续增长，反映了模型"发现"更长的思考有助于提高正确率
• 自我验证、反思（"等等，我刚才算错了"）、从不同角度重新审视问题等行为并非被显式编程，而是 RL 优化下自然产生的

3. 训练规模效应

• OpenAI 报告指出，推理模型的强化学习训练同样遵循"更多计算 = 更好性能"的缩放规律
• 从 o1 到 o3 再到 GPT-6，OpenAI 将训练计算量和推理时思考量持续提升，性能随之改善，验证了推理缩放规律的可持续性