昨日,OpenAI 治理研究员 Richard Ngo 正式宣布离职!
在OpenAI从事人工智能预测和治理工作三年后,我刚刚在Slack上发布了这条离职的消息。
内容并没有什么特别惊讶的地方,但你应该比大多数类似的消息更字面地理解它——我尽量只说了我直白相信的事情。
Ngo 称,在过去一年历程中所涌现的各类事件里,存在诸多令他困惑不解且尚无答案的问题。正是这些问题的存在,令他在内心深处愈发难以笃定自己所从事的工作能够在漫漫岁月中为全球带来切实的益处与积极的改变。他在逐步深入的思索过程中,深切体会到要达成 OpenAI 所确立的“促使 AGI 稳健良好发展”这一宏伟使命,其道路布满荆棘,充满了难以想象的艰难险阻。
Ngo 自 2021 年踏入 OpenAI 开启新的征程,而回溯往昔,他曾在 Google DeepMind 担当 AI 安全研究员,在人工智能领域的探索之路已然积累了颇为丰富的经验与深刻的见解。
近期,OpenAI 内那些专注于 AI 安全领域的员工相继选择离开,而 Ngo 便是这一系列离职事件中最新的一位。OpenAI 的研究科学家、有着“德扑之父”之称的 Noam Brown 还特意为其送上了诚挚的祝福。
前OpenAI员工(今年8月离职)回忆道,自己是通过Ngo「AGI安全基础」课程才接触到AI安全的,并祝他未来一切顺利。
离职信全文
大家好,我决定离开OpenAI(生效日期为星期五)。
在过去的三年里,我一直在Miles的领导下工作,因此在他离开之后,很自然,我似乎也该离开了。没有一个单一的主要因素促使我做出这个决定。
对于过去一年发生的事情,我依然有很多未解的问题,这让我更难以相信我的工作能长期为世界带来正面影响。我也一直感觉自己更倾向于公开地进行更多的迭代,并与更多合作者一起探讨多种研究方向。
接下来的几个月里,我打算主要进行独立研究,内容包括AI治理和理论性AI对齐问题的结合,然后再看看未来的方向如何。
尽管经历了许多波折,我真的很享受在OpenAI的时光。我有机会参与许多令人着迷的议题,包括预测、威胁建模、模型规格和AI治理,并与一群不断创造历史的、卓越的人一起工作。
当我面对那些新加入公司的成员时,我很难向他们传递OpenAI最初的雄心壮志:设定了让AGI良好发展的使命。
虽然「发展AGI」这一部分的任务似乎已在正确轨道上,我(和其他人)却逐渐意识到,想要对「良好发展」这一部分的任务作出积极贡献,远比预期的要困难得多,特别是需要预防它对人类生存的威胁。
部分是因为预测未来本身就很困难,同时由于AGI前景的巨大规模,容易放大人们的偏见、合理化和部落主义倾向(包括我自己)。
无论好坏,我预计风险将会继续加大,因此我希望你们都能以正直、深思熟虑的态度,以及清晰的判断,来应对你们(以及OpenAI)在这些风险中的角色,明确何时以及如何做出的决定才能真正服务于我们的使命。
长期深耕AI安全
在众多专注于 AI 安全的员工纷纷离开 OpenAI 之后,Richard Ngo 的此次离职极具象征意味。
需明确的是,他在 AI 安全社区堪称极具影响力的发声者。自 2018 年起,他便全身心投入到 AI 安全研究工作当中,而彼时广为人知且风靡全球的 ChatGPT 直至 2022 年底才崭露头角。
Ngo 无疑是一位在科技领域中散发着浓郁人文气息的从业者。这样的特质恰能很好地诠释他对 OpenAI 创立初衷的执着坚守,以及对 AI 安全领域未来走向所怀有的深切忧虑。
他于剑桥大学潜心钻研,成功获取机器学习哲学方向的哲学博士学位,就读时间为 2020 至 2021 年;在此之前,还于该校荣获计算机科学的哲学硕士学位,时间跨度是 2017 至 2018 年。不仅如此,他也曾在牛津大学深造,顺利取得计算机科学与哲学的文学学士学位,求学阶段处于 2014 至 2017 年。
他还热衷于在博客上撰写名为《AI Autofiction》(AI 自传小说)的内容他以一种极为新颖且富有想象力的视角,细致入微地描绘了倘若站在未来 AI 的立场去审视这个世界,那么世界可能会呈现出的种种模样。
博客地址:https://www.narrativeark.xyz/t/ai-autofiction
AI安全员工出走潮
近来,许多专注于AI安全的员工都先后离职OpenAI。
OpenAI 长达七年的元老级人物、安全副总裁 Lilian Weng 于上周正式宣告离职。
而在更早的上个月,同样身为 OpenAI 六年元老且担任研究主管的 Miles Brundage,也就是 Ngo 的上司,也离开了公司。
若将时间线进一步拉长,在今年早些时候,OpenAI 的超级对齐共同负责人 Ilya Sutskever 和 Jan Leike 就已相继踏出了公司的大门。
Leike 曾毫不避讳地指出:“OpenAI 的安全文化和流程已被那些夺人眼球的产品所掩盖。”
此之外,还有 William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo 和 Cullen O’Keefe 等诸多专注于安全领域的员工,也都接连离开了 OpenAI。
完
领取专属 10元无门槛券
私享最新 技术干货