OpenAI 组建新团队防范“超级智能 AI”失控：20％ 算力投入

站长之家(ChinaZ.com) 7月6日消息: 尽管人工智能是否有朝一日能够与超越人类智能尚不明确，但 ChatGPT 的创建者 OpenAI 已经开始研究防止所谓的「超级智能 AI」失控并可能杀死我们所有人类的方法。

这种威胁听起来像是科幻电影的情节。但 OpenAI 今天警告称，超级智能 AI 系统或者说比人类明显聪明的计算机存在风险。

「超级智能将是人类有史以来最有影响力的技术，它可以帮助我们解决世界上许多最重要的问题，」该公司在一篇博文中写道。「但是超级智能的巨大力量也可能非常危险，可能导致人类权力的削弱甚至人类的灭绝。」

OpenAI 预测，超级智能 AI 系统将在「本十年内」出现。这是一个相当大胆的预测，因为该公司的 ChatGPT 应用程序并不被认为是一种能够进行人类级思维的人工通用智能（AGI）。

相反，ChatGPT 只是一个类似自动完成的大型语言模型，可以重新创建类似人类回应，但并不完全理解言语背后的含义。因此，它有时会给出明显错误的答案或无法理解基本逻辑。所以 OpenAI 已经预测超级智能 AI 的到来可能看起来有些奇怪。然而，OpenAI 希望做好准备。

「目前，我们没有解决潜在超级智能 AI 的引导或控制的办法，防止其失控，」该公司表示。「我们目前用于使 AI 对齐的技术，例如从人类反馈中进行强化学习，依赖于人类监督 AI 的能力。但是人类将无法可靠地监督比我们聪明得多的 AI 系统。」

事实上，超级智能 AI 可以比任何人更快地做出反应和下达指令，这可能使得实时控制几乎不可能。这意味着 OpenAI 需要「新的科学和技术突破」来控制假设的 AI 系统。为此，该公司正在创建一个专注于「超级对齐研究」的新团队，并将 OpenAI 20% 的计算资源用于此努力。

该团队目前的方法将专注于创建一个「大致与人类水平相当的自动对齐研究员」，或者说基本上是一个 AI 程序，讽刺的是，它将监督未来的超级智能计算机。OpenAI 公司表示：「然后我们可以利用大量计算资源来扩大我们的努力，并逐步对齐超级智能。」

OpenAI 计划在接下来的四年内「解决超级智能对齐的核心技术挑战」。公司表示：「虽然这是一个非常雄心勃勃的目标，我们不能保证一定成功，但我们对通过专注而协同的努力来解决这个问题持乐观态度。」

OpenAI 的研究结果也将与公众分享，以便其他 AI 公司可能会使用。