RLHF 主要解决大模型的哪些问题？

RLHF 针对预训练模型在真实交互中暴露的一系列缺陷进行修正。

1. 输出不符合人类意图

• 预训练模型可能续写用户文本而非回答问题，或答非所问
• RLHF 引导模型理解指令意图，输出真正切题、有用的回答

2. 存在有害或不当内容

• 预训练语料中混杂的偏见、毒性内容可能被模型复现
• RLHF 通过偏好信号抑制有害输出，提升安全性

3. 表达不自然、不礼貌

• 未经对齐的模型表达可能生硬、敷衍或失礼
• RLHF 让回答在语气、结构、得体性上更贴近人类期待

4. 幻觉问题

• 通过偏好惩罚机制抑制无依据的杜撰，降低事实性错误