Anthropic教会大模型以人类的方式使用电脑，RPA不存在了？

‌‌RPA（Robotic Process Automation），机器人流程自动化，是一种利用软件机器人模拟人类操作，自动执行重复性高、规则明确的任务的技术。

现在，通过大模型来实现更泛化的模拟人类操作电脑的流程，传统RPA可能要被颠覆了。‌

//

刚刚，OpenAI 最大的竞争对手 Anthropic 深夜更新，宣布推出升级版 Claude 3.5 Sonnet和新型号Claude 3.5 Haiku。

升级版 Claude 3.5 Sonnet 比其前代产品有了全面改进，在编码方面取得了显著进步，而编码在这一领域已经处于领先地位。在多次评估中，Claude 3.5 Haiku 的性能与我们之前最大的型号 Claude 3 Opus 相当，价格相同，速度与上一代 Haiku 相近。

Anthropic 还将推出一项突破性的新功能：计算机使用。从今天起，开发人员可以通过 API 控制 Claude 以人类的方式使用计算机——查看屏幕、移动光标、单击按钮和输入文本。

Claude 3.5 Sonnet 是首个提供计算机使用功能的前沿人工智能模型，目前处于公开测试阶段。目前，它仍处于试验阶段——有时很麻烦且容易出错。Anthropic 提前发布了计算机使用功能，以征求开发人员的反馈，并预计随着时间的推移，该功能将迅速改进。

Asana、Canva、Cognition、DoorDash、Replit 和 The Browser Company 已经开始探索这些可能性，执行需要数十步甚至数百步才能完成的任务。例如，Replit 正在利用 Claude 3.5 Sonnet 的计算机使用和 UI 导航功能来开发一项关键功能，该功能可在为其 Replit Agent 产品构建应用程序时对其进行评估。

为什么要教大模型使用电脑？

为什么这项新功能如此重要？大量现代工作都是通过计算机完成的。让人工智能能够像人类一样直接与计算机软件交互，将解锁大量当前一代人工智能助手无法实现的应用。

过去几年，在开发强大的人工智能方面取得了许多重要的里程碑——例如，执行复杂逻辑推理的能力以及查看和理解图像的能力。下一个前沿是计算机使用：人工智能模型不必通过定制工具进行交互，而是能够按照指示使用基本上任何软件。

在使用计算机方面，Anthropic 正在尝试一些全新的事物。这不是制作特定工具来帮助 Claude 完成单个任务，而是教它通用的计算机技能——允许它使用为人类设计的各种标准工具和软件程序。开发人员可以使用这种新兴功能来自动化重复流程、构建和测试软件，以及开展开放式任务，例如研究。

为了实现这些通用技能，Anthropic 构建了 API，使 Claude 能够感知计算机界面并与之交互。开发人员可以集成此 API，使 Claude 能够将指令（例如“使用我的计算机和在线数据填写此表格”）转换为计算机命令（例如，检查电子表格；移动光标以打开 Web 浏览器；导航到相关网页；使用这些页面中的数据填写表格；等等）。

在OSWorld（评估 AI 模型像人类一样使用计算机的能力）上，Claude 3.5 Sonnet 在纯屏幕截图类别中的得分为 14.9%——明显优于排名第二的 AI 系统的 7.8%。当提供更多步骤来完成任务时，Claude 的得分为 22.0%。

虽然 Anthropic 预计这种能力将在未来几个月内迅速提高，但 Claude 目前使用计算机的能力并不完美。人们毫不费力执行的一些操作（滚动、拖动、缩放）目前对 Claude 提出了挑战，Anthropic 鼓励开发人员从低风险任务开始探索。由于计算机的使用可能会为垃圾邮件、错误信息或欺诈等更常见的威胁提供新的载体，因此他们正在采取积极主动的方式来促进其安全部署。Anthropic 开发了新的分类器，可以识别何时使用计算机以及是否发生了危害。

研究过程

Anthropic 表示其之前在工具使用和多模态性方面的研究为这些新的计算机使用技能奠定了基础。操作计算机需要能够查看和解释图像（在本例中是计算机屏幕的图像）。它还需要推理如何以及何时根据屏幕上的内容执行特定操作。结合这些能力，Anthropic 训练 Claude 解释屏幕上发生的事情，然后使用可用的软件工具执行任务。

当开发人员要求 Claude 使用计算机软件并授予其必要的访问权限时，Claude 会查看用户可见内容的屏幕截图，然后计算出移动光标到正确位置所需的垂直或水平像素数。训练 Claude 准确计算像素数至关重要。如果没有这项技能，模型很难发出鼠标命令——就像模型经常难以回答看似简单的问题，例如“‘banana’ 这个词中有多少个 A？”。

Anthropic 惊讶地发现，Claude 能够如此迅速地从为它提供的几款简单软件（例如计算器和文本编辑器）进行的计算机使用训练中概括出来（出于安全原因，不允许模型在训练期间访问互联网）。结合 Claude 的其他技能，这种训练赋予了它非凡的能力，可以将用户的书面提示转化为一系列逻辑步骤，然后在计算机上采取行动。Anthropic 观察到，当遇到障碍时，该模型甚至会自我纠正并重试任务。

虽然 Anthropic 在取得初步突破后很快就取得了后续进展，但实现这一目标需要大量的反复试验。一些研究人员指出，开发计算机的使用接近于他们刚进入该领域时所想象的人工智能研究的“理想化”过程：不断迭代，反复回到绘图板，直到取得进展。

这项研究取得了成果。目前，Claude 是最先进的模型，其使用计算机的方式与人类相同——即通过查看屏幕并采取行动做出响应。在一项旨在测试开发人员让模型使用计算机的尝试的评估中，OSWorld，Claude 目前获得了 14.9% 的准确率。这远不及人类水平的技能（通常为 70-75%），但远高于同一类别中排名第二的 AI 模型获得的 7.7%。

确保计算机使用安全

人工智能的每一次进步都会带来新的安全挑战。使用计算机主要是降低人工智能系统应用现有认知技能的门槛，而不是从根本上提高这些技能，因此对计算机使用的主要关注点在于当前的危害，而不是未来的危害。

Anthropic 通过评估计算机使用是否会增加其负责任的扩展政策中概述的前沿威胁风险来证实这一点。团队发现，更新后的 Claude 3.5 Sonnet（包括其新的计算机使用技能）仍处于人工智能安全级别 2，也就是说，它不需要比目前实施的更高的安全标准和安全措施。

当未来的模型需要 AI 安全等级 3 或 4 保护措施，因为它们会带来灾难性风险时，计算机的使用可能会加剧这些风险。Anthropic 认为，现在引入计算机使用可能更好，而模型仍然只需要 AI 安全等级 2 保护措施。这意味着可以在风险过高之前开始解决任何安全问题，而不是在风险严重得多的模型中首次添加计算机使用功能。

本着这种精神，Anthropic 的信任与安全团队对新的计算机使用模型进行了广泛的分析，以识别潜在的漏洞。他们发现的一个问题是“即时注入”——这是一种网络攻击，恶意指令被输入到人工智能模型中，导致它要么覆盖其先前的指示，要么执行偏离用户原意的意外操作。由于 Claude 可以解释连接到互联网的计算机的屏幕截图，因此它可能会接触到包含即时注入攻击的内容。

使用公测版 Claude 计算机版的用户应采取相关预防措施，以尽量减少此类风险。作为开发人员的资源，在参考实现中提供了进一步的指导。

与任何 AI 功能一样，用户也有可能故意滥用 Claude 的计算机技能。Anthropic 的团队已经开发了分类器和其他方法来标记和减轻此类滥用行为。

鉴于即将到来的美国大选，Anthropic 高度警惕可能被视为破坏公众对选举过程信任的滥用企图。虽然计算机使用还不够先进，或无法在现有能力的基础上大规模运行，因此风险会更高，但Anthropic 已经采取措施监控 Claude 被要求参与选举相关活动的时间，并制定了系统来阻止 Claude 在社交媒体上生成和发布内容、注册网络域名或与政府网站互动等活动。Anthropic 表示将不断评估和迭代这些安全措施，以在公开测试期间平衡 Claude 的能力和负责任的使用。

与数据隐私标准方法一致，默认情况下，Anthropic 不会根据用户提交的数据（包括 Claude 收到的任何屏幕截图）来训练其生成式 AI 模型。

计算机使用的未来

计算机的使用是开发 AI 的完全不同的方法。到目前为止，LLM 开发人员已经让工具适应模型，创建自定义环境，AI 可以使用专门设计的工具来完成各种任务。现在，Anthropic 可以让模型适应工具——Claude 可以适应每天使用的计算机环境。Anthropic 的目标是让 Claude 能够利用现有的计算机软件，并像人类一样简单地使用它们。

还有很多事情要做。尽管这是目前最先进的技术，但 Claude 的计算机使用速度仍然很慢，而且经常容易出错。人们经常使用计算机执行的许多操作（拖动、缩放等）Claude 还无法尝试。Claude 的屏幕视图具有“翻页”性质（截取屏幕截图并将它们拼凑在一起，而不是观察更精细的视频流），这意味着它可能会错过短暂的操作或通知。

甚至在为今天的发布会录制计算机使用演示时，Anthropic 也遇到了一些有趣的错误。其中一个错误是，Claude 不小心点击停止了长时间的屏幕录制，导致所有镜头都丢失。另一个错误是，Claude 突然中断了编码演示，开始浏览黄石国家公园的照片。

Anthropic 预计计算机的使用将迅速改善，变得更快、更可靠，更有助于完成用户想要完成的任务。对于那些软件开发经验较少的人来说，它也将变得更容易实现。在每个阶段，研究人员都将与安全团队密切合作，确保 Claude 的新功能伴随着适当的安全措施。

Anthropic 邀请在公开测试版中尝试使用计算机的开发人员与其联系并提供反馈，以便研究人员可以继续改进此新功能的实用性和安全性。