首页
学习
活动
专区
圈层
工具
发布

Andrej Karpathy:AI本质是「软件2.0」,并非电力或者工业革命

刚刚Andrej Karpathy分享了他关于AI如何影响经济的最新思考。

他认为,人们习惯于将AI与电力、工业革命等历史先例进行类比,但最恰当的类比,是将AI视为一种全新的计算范式——即他之前提出的“软件2.0”。因为无论是传统计算还是AI,其本质都是关于数字信息处理的自动化

基于此,Karpathy提出了一个预测AI自动化能力的核心指标:「可验证性」(Verifiability)。

回望1980年代:软件1.0自动化的是「可指定」任务

Karpathy首先回顾了传统计算对就业市场的影响。

如果回到1980年代来预测计算机的影响,最关键的预测指标是看一项任务或工作的算法在多大程度上是“固定的”。也就是说,执行者是否只是在根据一套可以轻松指定的、死记硬背的规则,机械地转换信息。

例如打字、簿记、人力计算器等工作,都属于这一类。在那个时代,当时的计算能力只允许我们(通过手动编码)编写出这类程序。这就是软件1.0的时代。

AI新范式:软件2.0自动化的是「可验证」任务

现在,AI让我们能够编写出过去完全无法手动编写的新程序。

我们实现这一点的方式,不再是编写固定的规则,而是通过指定一个目标(例如,分类准确率、奖励函数),然后通过梯度下降等方法在巨大的程序空间中进行搜索,最终找到一个能够很好地达成该目标的神经网络。这就是软件2.0的核心思想。

在这个新的编程范式下,最具预测性的新指标变成了「可验证性」。

如果一项任务或工作是可验证的,那么它就可以通过直接优化或强化学习进行训练,让神经网络在该任务上表现得极其出色。这里的关键在于,AI在多大程度上可以“练习”某件事。

一个可供AI练习的环境,必须满足三个条件:

1.可重置(Resettable):可以开始一次新的尝试。

2.高效率(Efficient):可以在短时间内进行大量尝试。

3.可奖励(Rewardable):有一个自动化的流程来评估并奖励任何一次具体的尝试。

「可验证性」决定AI进展的「锯齿状」前沿

一项任务或工作的可验证性越高,它就越容易被新的AI编程范式所自动化。

如果一项任务不具备可验证性,那么对它的自动化就只能依赖于神经网络“泛化能力的魔法”,或者通过模仿学习等效果较弱的方式来实现。

Karpathy指出,这正是导致大语言模型(LLM)进展呈现出“锯齿状”前沿的根本原因

那些可验证性强的任务,正在取得飞速进展,其能力甚至可能超越顶尖的人类专家。例如:

1.数学

2.编程

3.任何看起来像有标准答案的谜题

与此同时,许多其他任务的进展则相对滞后,例如:

1.创造性工作

2.战略性任务

3.需要结合真实世界知识、状态、背景和常识的复杂任务

最后,用一个精炼的总结就是:

软件1.0轻松自动化了那些「可指定」的任务

软件2.0则将轻松自动化那些「可验证」的任务

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OlcdSHogiHOEMVeoXW3vIt0Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券