马斯克如何把自动驾驶切换到大模型上

在今年八月底的一个星期五，在位于帕洛阿尔托的特斯拉总部，埃隆·马斯克钻进了一辆ModelS里，他在导航屏幕上随机选择了一个地点，然后汽车就自己跑了起来。

在45分钟内，他一边听着莫扎特的音乐，一边直播分享他的行程。经过马克·扎克伯格的住宅时，他笑着说：“也许我应该敲门，礼貌地询问他是否想肉搏。” 他一直在开玩笑地挑战扎克伯格进行笼中角斗。

马斯克之前已经自动驾驶汽车数百次，但这却显著不同，不仅因为更加平稳和可靠。他正在使用的全自动驾驶技术新版本FSD12，基于大胆的新概念，马斯克认为不仅会彻底改变自动驾驶汽车，而且还是通用人工智能在现实世界运行的一次大跃进。与之前数十万行代码的自动驾驶软件不同，这个新系统用数十亿帧人类驾驶的视频来教会自己如何驾驶，就像大型语言模型通过处理数十亿的文本词汇来训练自己生成答案一样。

令人惊讶的是，仅仅在八个月前，马斯克才将特斯拉转向了这一全新的方法。

“这就像是ChatGPT，但用于汽车。”在去年12月的一次会议上，特斯拉自动驾驶团队的年轻成员达瓦尔·夏罗夫（Dhaval Shroff）向马斯克解释道。

他比较了他们正在研究的方法与OpenAI发布的聊天机器人，而OpenAI是马斯克于2015年共同创立的实验室。“我们处理了大量人类驾驶员在复杂驾驶情况下的行为数据，”夏罗夫说，“然后我们训练计算机的神经网络来模仿这种行为。”

直到那时，特斯拉的Autopilot系统一直依赖基于规则的方法。车辆的摄像头识别出车道标线、行人、车辆、标志和交通信号等内容；然后，软件应用一组规则，例如：红灯停、绿灯行、保持在车道标线的中间、通过繁忙的十字路口，等等。特斯拉的工程师们手动编写并更新了数十万行C++代码，将这些规则应用于复杂场景。

夏罗夫和其他人正在研究的“神经网络规划器”采取了不同的方法。“与基于规则的方法确定汽车的驾驶路线不同，”夏罗夫说，“我们依赖于一个神经网络，它通过学习人类在数以千计相似情况下的行为，来确定行车的正确路线。”换句话说，这是模仿人类。设身处地，神经网络根据成千上万相似情况中人类的行为选择路线。

就像人们学会说话、驾驶、下棋、吃意大利面和做几乎所有其他事情一样，我们可能会被要求遵循一组规则，但主要是通过观察其他人如何做来掌握这些技能。这是艾伦·图灵（Alan Turing）在他1950年的论文《计算机器和智能》中设想的机器学习方法，一年前随着ChatGPT的发布而引起了公众的广泛关注。

到2023年初，神经网络规划器项目已经分析了从特斯拉客户的汽车收集到的1000万个视频片段。那是否意味着达到了人类驾驶的平均水平呢？“不，因为我们只使用人类表现良好的数据。”夏罗夫解释道。人工标记员，其中许多人在纽约水牛城，评估了这些视频并为它们打分。马斯克告诉他们要找到“五星级优步司机会做的事情”，而这些视频被用来训练计算机。

马斯克定期走进帕洛阿尔托的Autopilot工作区，与工程师们即兴讨论。当他研究这种新的模拟人类方法时，他有一个问题：真的需要吗？它可能有点过于复杂吗？他的一项准则是，你不应该使用巡航导弹来杀一只苍蝇；只需使用苍蝇拍。使用神经网络是否不必要地复杂？

夏罗夫向马斯克展示了一些实例，神经网络规划器在某些情况下比基于规则的方法更好。演示中的道路上堆满了垃圾桶、倒下的交通锥和乱放的杂物。由神经网络规划器引导的汽车能够绕过障碍物，越过车道线，并在必要时打破一些规则。“当我们从基于规则的方法转向基于网络-路径的方法时，驾驶就会是这样，”夏罗夫告诉他，“只要你打开这个功能，车辆永远不会发生碰撞，即使在无结构环境中也是如此。”

这种驶入未来的飞跃，让马斯克兴奋起来。他说：“我们应该进行一次詹姆斯·邦德式的演示，周围到处都是爆炸，一架不明飞行物正从天上坠落，而汽车却穿行而过。”

8月25日，马斯克试驾FSD12的直播截屏。

机器学习系统通常需要一套参数指导训练。马斯克的管理喜欢抓住关键指标，他给出了他们的目标：全自动驾驶的汽车在无人干预的情况下行驶的英里数。他下令：“我希望每次我们的会议的第一张幻灯片，都以每次干预的英里数开始。”他告诉他们要做成一个视频游戏，他们每天都可以看到自己的分数。“没有分数的视频游戏是无聊的，所以每天看着每次需要干预的英里数增加，会很有动力。”

团队成员在他们的工作空间安装了85英寸的大型显示器，实时显示了FSD汽车平均行驶多少英里而无需干预。他们在桌子旁边放了一个锣，每当他们成功解决导致干预的问题时，他们就鸣锣庆贺。

到了2023年4月中旬，轮到埃隆·马斯克试驾新的神经网络规划器了。他坐在驾驶座上，旁边是特斯拉自动驾驶软件总监阿肖克·埃鲁瓦米，自动驾驶团队的三名成员坐在后座。当他们准备离开特斯拉帕洛阿尔托办公区的停车场时，马斯克在地图上选择了一个目的地，并将双手从方向盘上拿开。

当汽车驶上主要道路时，出现了第一个令人紧张的挑战：一个人骑自行车从车前穿过。汽车像人类那样让路了。

在接下来的25分钟里，汽车在快速道路和社区街道上行驶，处理复杂的转弯，并避开骑自行车的人、行人和宠物。马斯克从未碰过方向盘。只有在汽车显得过于谨慎时，例如在十字路口有四处停车标志时会装得太谦恭，他才偶尔会轻踩油门来干预。在某一刻，汽车执行了一项他认为比他自己更好的操作。他说：“哇，连我的人类神经网络在这里都不灵了，但汽车做得对。”他高兴得吹起了口哨，是莫扎特的《小夜曲》G大调。

“太棒了，伙计们，”马斯克在最后说道，“这真是令人难忘。”然后，他们都去参加了自动驾驶团队的周例会，那里有20名成员，几乎都穿着黑色T恤，坐在会议桌周围，等待听取结果。许多人原本不相信神经网络项目会成功。马斯克宣布他现在完全相信了，他们应该调动资源推进项目。

在讨论中，马斯克理解了团队的一个重要发现：神经网络在训练了至少一百万个视频后才能见效。这使特斯拉对其他汽车和人工智能公司具有巨大优势。特斯拉在全球拥有近200万辆汽车，每天都在收集视频。“我们有独特的优势，可以做到这一点，”埃鲁瓦米在会议上说。

四个月后，新系统准备取代旧方法成为FSD12的基础。特斯拉计划在监管机构批准后尽快发布。仍然存在一个问题需要解决：即使是最好的人类驾驶员，通常也会在交通规则上玩一些花招，而新的全自动驾驶系统，按设计会模仿人类的行为。例如，超过95%的人类在停车标志前会慢慢爬行，而不是完全停下来。国家公路安全委员会主席表示，该机构目前正在研究是否应该允许自动驾驶汽车采用这种方式。

（本文节选自艾萨克森（Walter Isaacson）的《马斯克传》英文版）