推理模型的核心训练流程包含哪些关键步骤？

推理模型的训练通常采用多阶段流水线，以 DeepSeek-R1 的公开技术方案为典型代表：

1. 冷启动监督微调（Cold-start SFT）

• 收集数千条高质量长链思维样本，对基础模型进行初步微调
• 目的是建立基本的推理格式（如 <think>...</think> 标签结构）和可读的推理模式
• DeepSeek-R1 在此阶段使用长思维链数据微调 DeepSeek-V3-Base，解决纯 RL 训练中语言混杂、可读性差的问题

2. 大规模强化学习（Reasoning-focused RL）

• 使用 GRPO（Group Relative Policy Optimization）等算法进行面向推理的强化学习
• 奖励信号基于最终答案的正确性（数学题通过规则匹配验证，代码通过测试用例验证）
• 在此阶段模型自发涌现出自我验证、反思、探索替代方案等推理行为

3. 拒绝采样与数据扩展（Rejection Sampling SFT）

• RL 训练接近收敛时，使用拒绝采样从当前模型生成大量样本
• 筛选高质量推理样本（约 60 万条）与非推理样本（约 20 万条）合并
• 进行第二轮监督微调，将推理能力与通用能力（写作、问答等）融合

4. 全场景强化学习（General RL）

• 最终阶段同时优化推理准确性与人类偏好对齐（有用性、无害性）
• 将可验证奖励（RLVR）与基于偏好模型的奖励（RLHF）结合使用