在 Preferences（从偏好中学习）这一部分，我们聚焦于从成对反馈中学习，也就是拥有这样一类偏好数据：对于给定提示词，它能指出两个补全中哪一个更好。这类反馈天然适用于那些无法通过程序化方式计算简单正确性标准的任务。这些偏好可能来自人类评估者，也可能由模型生成。
偏好学习的两种路径
当您拥有成对偏好数据时，有两条主要路径：
DPO（直接偏好优化）：直接更新策略，使其更偏好 chosen 响应而非 rejected 响应，不需要单独的奖励模型。这种方法更简单，计算成本也更低。详见 DPO 指南。
RLHF（基于人类反馈的强化学习）：先在偏好数据上训练一个奖励模型，然后用强化学习针对该奖励模型优化策略。这种两阶段方式提供了更大的灵活性。详见 RLHF 示例。
