瓮荔，掌管OpenAI安全，北大才女，刚刚宣布离职

夕小瑶科技说 原创

作者 | 小鹿

家人们～刚刚的消息，OpenAI安全系统团队负责人翁荔（Lilian Weng）发了推特宣布，于11月15日离开OpenAI了🥹

翁荔在推特上发了离职信,说离开OpenAI这一决定是艰难的选择，并表达了对OpenAI团队的感谢：

我做出了离开 OpenAI 的艰难决定。11 月 15 日将是我在办公室的最后一天。

OpenAI 是我成长为科学家和团队领导者的地方，我将永远珍惜与我一路共事和结交的朋友在一起的时光。OpenAI 团队一直是我的知己、老师，也是我认可的一部分。

我还记得2017年OpenAI的使命让我多么着迷，一群人梦想着一个不可能实现的科幻未来。在这里，我开始研究全栈机器人难题——从深度是强化学习算法到装备再到强化—— —目标是教会单台机械手如何解决魔方问题。整个团队花了两年时间，但我们最终实现了。

当OpenAI进入GPT范式时，我们开始探索将最佳AI模型部署到现实世界的方法时，我组建了第一个应用研究（Applied Research）团队，推出了蓝牙式API、嵌入API和审核端点的初始版本，为应用安全奠定了基础，并为众多早期API客户提供了新的解决方案。

GPT-4发布后，我被要求接受一个新的挑战，重新考虑OpenAI安全系统的愿景，把工作集中在一个拥有下面完整安全堆栈的团队中。那是我经历过的最困难、压力最大的这个又是最激动人心的事情之一。现在，安全系统（安全系统）团队拥有超过 80 位优秀的科学家、工程师、产品、经理、政策专家，而我为团队取得的一切成就感到非常自豪。发布的基石——从GPT-4 Window和turbo版本到GPT Store、语音训练和o1。其在这些模型中已经建立了又决策方面为行业制定了工作树立了新的标准。我为我们在o1预测模型方面取得的最新测量成果特别引人注意的是，它是我们迄今为止最安全的模型，在保持真实性的同时，表现出了对越狱攻击的卓越抵抗力。

我们共同取得了令人惊叹的成就：

• 我们训练模型制定者认识到，通过遵循一套定义的明确的政策模型安全行为，可以很好地拒绝敏感或不安全的请求，包括何时拒绝或不拒绝，从而达到安全性和实用性之间取得良好的平衡。

• 在每次模型发布时，我们都提高了其对抗性，包括防御越狱攻击、指定我们的层次结构以及通过推理大幅提升性。我们在口腔方面的承诺都已体现在详细的模型系统卡中。

• 我们开发了多模态的评估模型的行业领先者，并免费分享给公众。我们目前在更通用的监控框架和增强安全推理能力方面的工作将为更多的安全工作流提供支持。

• 我们为安全数据记录、指标、仪表板、主动学习管道、分类器部署、推理时间过滤和全新的快速响应系统建立了工程开发基础。

回顾我们所取得的成绩，我为安全系统团队的每一个人都感到自豪，我非常相信团队将继续壮大发展。我爱你们。

现在，在 OpenAI 工作了 7 年了，我准备重新开始并探索一些新东西。OpenAI 正以火箭般的增长趋势上，希望这里的每个人一切都顺利。

附言：我的博客还在，会继续下去。我可能很快就会有时间更频繁地更新它，也可能会有更多时间来编程；）

翁荔本科毕业于北大，在印第安纳大学伯明顿分校攻读博士，主导、参与了机器人技术、深度强化学习的研究，为GPT-4的安全系统打下了坚实的研究基础。

最著名的Agent公式也由她提出，即：Agent=大模型+记忆+主动规划+工具使用。

除此之外，翁荔在GPT-4发布之后带领团队制定了OpenAI安全系统的发展战略，确保API运行的高效和安全。

她带领的团队在提高模型的安全性、防御对抗性攻击和防止系统被破坏方面都取得了显著进展，为整个行业树立了新的安全标准。

而且，她的博客也广受好评！

相信不少小伙伴都读过这篇模型外在幻觉的～

翁荔也是高引学者，在谷歌学术上的引用达到了13000+

在她的离职信中，特别提到她对“o1-preview”模型的安全性感到非常自豪，这个模型被认为是OpenAI迄今为止最安全的模型之一。

截止到今天，OpenAI的团队爆出离职的大部分都是安全团队的。。。

OpenAI的公司方向不管向哪里前进，估计肯定都不是向着安全前进了。。。

就在7天前，翁荔还以OpenAI研究副总裁（安全方向）的身份回国做了公开演讲，在B站上热度很高！大家感兴趣的话可以看下～

我们也期待翁荔的下一次启航～最新动向小鹿会蹲守给大家汇报～