解决AI“胡说八道”！OpenAI再发重量级论文！

北京时间6月1日凌晨，ChatGPT开发商OpenAI在其官网发布一篇重磅论文，其中的研究内容很可能会彻底解决AI“胡说八道”的问题。

即使ChatGPT这类人工智能工具的表现已经足够惊艳，但他们依然会在某些情况下完全捏造信息，这被称为AI“幻觉”（或者被我们俗称为“胡说八道”）。这些虚假信息可能会非常自然地隐藏在一些真实信息中，这让使用人员辨别起来更加困难。OpenAI在论文开头便承认了这种现象的存在，称即使最先进的模型也会经常产生逻辑错误。

为了对抗AI“幻觉”，OpenAI的研究人员在这篇论文中阐述了一种新的方法，即改变之前，在AI完全推理出最终答案后再给予奖励的方法，而不是在AI模型推理出答案的每个正确步骤上给予奖励。这个方法被总结为“过程监督”，与之相反的是“结果监督”。

简而言之，这个方法很类似于人力资源领域早已推广的KPI绩效管理法，即在每个关键节点进行考核或激励，而不是等到项目或工作完全结束之后。

通过OpenAI工程师对过程监督的实验，他们至少获得了这些成果：

1.相对于结果监督，过程监督获得了更可靠的奖励模型；

2.大型奖励模型接近人类对较小奖励模型的监督效果，并且可以用来有效地进行大规模的数据收集消融；

3.主动学习使过程监督的数据效率提高了2.6倍。

总之，这种方法能够训练出更好的AI，因为这种策略鼓励模型按照更类似人类的“思考”方式进行推理。

AI的“幻觉”问题已经困扰行业很久，并且可能是阻碍AI落地的最大障碍。

OpenA研究员卡尔·科布此前接受采访时曾表示：“检测和减轻一个模型的逻辑错误或幻觉，是构建一致性通用人工智能的关键步骤。”

OpenAI以外的其他科技公司也在不断尝试解决这个问题。如英伟达在4月25日宣布将开源他们的一款名为NeMo Guardrails的软件，借此来防止AI大模型出现"幻觉"。

英伟达的方案更像是给AI装上了“围栏”。借助NeMo Guardrails，开发者可以搭建三种边界：分别是主题护栏、功能安全护栏、信息安全护栏，它可以阻止AI模型说错误的话、讨论有害的话题、或是打开漏洞软件。

图注：NeMo Guardrails为AI建立“护栏”

更早的时候，马斯克曾大力批评ChatGPT，主要矛头便是因“幻想”问题生成的虚假内容。马斯克甚至声称要开发一个自己的“真实GPT”。

随着这篇OpenAI论文的发布，AI的可信度将大大提升，阻碍ChatGPT这类聊天AI的障碍又少了一个。从ChatGPT发布到如今解决“幻想”问题，中间只用了短短几个月时间，AI的上限在哪儿？