RLAIF 与 RLHF 有什么区别？

RLAIF（Reinforcement Learning from AI Feedback）用 AI 反馈替代人类反馈。

1. 反馈来源不同

• RLHF 由人类标注者提供偏好判断
• RLAIF 由另一个（通常更强的）AI 模型来生成偏好标签

2. 扩展性与成本

• RLAIF 摆脱了对大规模人工标注的依赖，扩展更快、成本更低
• 适合需要海量反馈数据的对齐场景

3. 风险与权衡

• RLAIF 可能放大反馈模型自身的偏见与错误
• 需验证 AI 反馈是否与真实人类偏好一致，否则偏差会被进一步固化