Stuart Rusell 专访：斯坦福百年报告否定人类水平 AI，不可理喻

【新智元导读】 UC Berkeley 大学计算机科学系教授，人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者日前接受了Edge的专访。目前全世界有1300多所学校，包括一些知名大学，都在使用他的书作为人工智能标准教材。这位人工智能界赫赫有名的大师分享了他对人工智能的独特观点。他认为，大多数人对智能的定义都是不清晰的。结合自己多年来的研究心得，他在访谈中尝试对“智能”一词进行定义：有限最优性（bounded optimality）。他认为：我仍然不认为我们应该将 AI 看作算法的集合。算法只是针对特定问题的高度工程化的产物。

【人物简介】Stuart Russell，UC Berkeley 大学计算机科学教授。他是人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者。

研究人工智能太诱人了，不可抗拒

我的工作领域是人工智能，从一开始我就问自己如何能创造真正的智能系统。我的一部分大脑总在考虑下一个障碍会在哪里。为什么我们的认知放在现实世界中总是出错？错误的本质是什么？如何避免？如何创造新一代表现更好的系统？同时，如果我们成功了，会发生什么？

回溯到1994年，利益和可能出现的弊端尚且是均势的。尽管人工智能可能带来的大规模失业风险已很明显，失控可能出现。如果你建造了比你更聪明的系统，很明显会有失控的问题。想象你是只大猩猩，问问自己，我的祖先应该进化成人类吗？

从大猩猩的观点来看，这可不是个好主意。94年我要说我对为什么我们会失去对AI的控制还不太理解。打个比方，人们在猩猩和人类或者人类和超级外星文明中做类比，但问题是猩猩没有故意去设计人类，人类也没有故意去设计出超级外星文明。

问题的本质是什么？我们能否解决？我愿意相信能够解决。一种解决思路是要么减缓AI的发展，要么停止发展智能系统中的某些方面——如果我们不知如何控制它的话。这是非常困难的，因为压力巨大。我们都想要更智能的系统——它们能带来巨大的经济利益。

比尔·盖茨说过，解决了机器学习的问题，抵得上十个微软。彼时，那要花掉4万亿，这对人类推进技术进步来说还算是划算的。我们如何让AI更能干？如果可以，我们如何能让结果对我们更有利？这是我经常会问自己的问题。

我问的另一个问题是：为什么我的同事们没有问自己这样的问题？是因为惰性吗？一个典型的工程师或计算机学家是不是已经陷入了某种惯性思维？或者他们是在一条他们没有想过通往何处的轨道上，也从来不会去想是不是应该停下来或者慢下来？或者只是我错了？在我的思考中，是不是有一些错误，将我导向了失控的误判？我总在问自己是不是我错了。

我审视了人们关于这个问题是否值得注意的争论。他们不愿意直面这个问题，因为似乎反对声是来自于人类的一些防备心。很明显，威胁是存在的。我们可以看看原子物理学的发展历史。有一些非常著名的原子物理学家就是不承认原子物理学会导向核武器。

核武器的想法大约出现在至少1914年，当时H.G.Wells写了World Set Free，其中他描述了一种原子炸弹的武器。物理学的部分他写的不是太准确。他想象原子炸弹能够持续爆炸数周，释放出巨大的能量，会给一座城市带来巨大的能源。基本就是这样。也有一些物理学家，比如Frederick Soddy，预见到了风险，但更有像Ernest Rutherford这样的科学家就是不承认可能出现的危险。直到Leo Szilard发明原子链反应的前夜，Rutherford 还在否认。正式的实体建设本可以避免，而从无到有也不过区区16小时。

我不认为AI会发生同样的事情，因为我们还有一个瓶颈需要突破。Szilard似乎就是突破了一个瓶颈，想出了原子链反应的方法，不过在真正的核反应被演示出来，这仍然花了5、6年的时间。

5、6年只是弹指一挥间。如果我们有5、6年时间搞出超级人工智能系统，我们也就不用担心控制问题了，同时我们也可能会看到消极的结果。如果幸运的话，它们会被限制起来，这就会成为一个我们为什么不要这么做的反面例子。就好像切尔诺贝利被用来说明为什么要限制原子能反应一样。

早先我没有太多考虑过限制和控制的问题。我的第一个AI项目是1975年的一个国际象棋程序，当时是在高中。那时我读了很多科幻小说，还看了《2001漫游》和《星际迷航》。在流行文化里，人工智能失控应该是猴年马月的事情。

年轻时我是个单纯的科技乐观主义者，对我来说研究人工智能太诱人了，不可抗拒。高中时我学习了计算机科学，对机器学习非常感兴趣，我写了一个小游戏程序，接着就是那个国际象棋程序。我读了一些AI方面的书籍，不过那时我并不觉得AI是个严肃的学术领域。

从物理学到人工智能

我希望成为物理学家，所以本科选择了物理学。我和物理学毕业生、博士后和一些导师聊了聊，对于原子理论的未来不太乐观。你得花个10年在290个作者里脱颖而出，如果走运的话，再花个十几年成为博士后，然后你可能得到一个教职，但也有可能成为一个出租车司机。

1982年我毕了业，没什么大事。弦理论开始流行了。人们在寻找物理学的大一统理论，却没找到什么靠得住的。我记得非常清楚，我和当时任教的Chris Liewellyn Smith有过一次交谈——他很快就要去CERN当主任了——我问他在做些什么。在所有我认识的和在哈佛上过课的老师中，他是最聪明的一个。他说他也在搞大一统理论，还在努力把它们转换成数理逻辑。因为学过一点AI，我明白他的意思。数理逻辑可以让人直接比较两个理论，来判断它们是否相等或产生可测试的结果。对物理学家来说，这是个相当新的想法，不光是供争论，而且能提出数学上的证据。

他检验了81条理论中的64条，结果只有3条独立的理论，所以人们只是在书写理论，都没意识到他们和别人总结的理论没什么不同。

这3条理论中有2条，原则上，是无法测试的，这意味着整个宇宙里都没有可供观测的结果。第三条可以被测试，但想看到任何可供观测的结果要花上1031年。对我来说，这次谈话相当压抑。平衡可能就是那时被打破的——还有关于毕业生和博士后的那件事——我于是投身到计算机科学，去了加州。

斯坦福受训

到达斯坦福的时候，我几乎没碰上任何计算机学家。我在高中和大学之间的那段时间，在IBM工作了一年。他们有一些非常好的计算机学家。在那儿我做了一些有意思的事，我对人工智能领域的计算机学家是个什么样子也多少有了些认识。

在Edinburgh我遇到了Alan Bundy，我也是在Edinburgh被授予的博士学位，那里有英国最好的AI项目。很多人建议我如果我能进斯坦福或者MIT，我应该从二者里挑一个。尽管比申请截止时间晚了6周，我还是进了斯坦福。他们愿意考虑我的申请真是太好了。

我刚到那儿的时候，我的第一任导师是Doug Lenat。Doug非常积极乐观，充满干劲，他研究的问题也很酷。他绘制了他的Eurisko系统，作为一个多层机器学习系统，被用来自由成长为一个智能系统。

Doug很有野心，我喜欢这一点。我和他工作了一段时间。不幸的是，他没有终身职位。对于任何学术机构来说，他的野心可能有些太大了。有些人没有看到他论文和实验中的严谨和清晰。

然后我和Mike Genesereth一起工作，他在数学上更为严谨。每篇论文都应该有理论支撑。他想建立一套非常牢固的能力和概念的体系，但仍然有建立真正智能系统的野心。他对诸如自动诊断、自动设计这样的应用类科技也有兴趣。

我和Zohar Manna有一些交流，他更像一位计算机逻辑学家，对用逻辑学来验证和综合推理更有兴趣。我从他那里吸取了不少有趣的想法。不过，他对AI不是特别感兴趣，所以我们不是太合得来。一度我曾希望请Doug Lenat 和Zohar Manna作为我的两位论文导师，但他们之间根本没有沟通，所以没能如愿。

82年我去了斯坦福。那里有Feigenbaum，Nils Nilsson 就在距离不远的SRI。Minsky当时还有点不太显眼。他论文发表得比较少。1976年他已经发表了那篇Frames的论文，有些影响。斯坦福，像很多大学一样，有他们的AI分支，而且他们也不太把他们自己的学生介绍到其他学校的AI分支去。

斯坦福有启发式算法程序项目，由Ed Feigenbaum带头，主要是关于专家系统的。Mike Genesereth 也参与其中，但他采用的主要是基于逻辑的方法。概率当时还不被认为是特别相关的。当时对于为什么你不能在构建系统时采用概率论还是有争论的。

概率论的广泛介入是Eric Horvitz和David Heckerman这两个医学AI项目的毕业生以及Ted Shortliffe加入以后的事。他们阅读了Judea Pearl关于贝叶斯网络的著作，或者像他们当时叫的，置信网络。我那时开始理解那本著作有多重要了。1988年Pearl的著作问世时，我相信以前我学到的一些内容很可能是错的了。使用概率论是完全可行的，实际上，面对不确定性，它的效果比基于规则的方法好得多，此前斯坦福一直在推行基于规则的方法。

我的论文研究是机器学习方面的，但使用了逻辑工具来理解学习系统内部发生了什么，尤其是，一个学习系统如何能借助它已经学会的东西来帮助它进一步的学习新知识。到今天为止这个问题仍很关键，因为当人类学习时，他们是借助一切他们已知的信息来理解未知的。

人类通常会从一、两个典型的现象或一种新接触的事物或经历中快速学习，而当前的机器学习系统可能需要数万或数百万的例子才能达到学习的效果。当前机器学习系统被设计为只学习很少的或零先前经验，因为人类对这个问题什么也不甚了解，但其实这并不是常态，人类总在不停的积累经验，机器只是模拟了人类生命的前五分钟的那种无知状态。之后当人类已经知道了一些东西，就会开始使用他们所知道的东西来学习下一件事情了。

从零开始学习是一件好事，但它不能很好地解释智力，除非你能证明你开始的这个空无一物的程序，继续喂给它经验，它变得超级智能。我们距离那个目标还很远。

有限理性研究

如果你想想当前的学习系统内部发生了什么 - 我知道这有点跑题 - 我们教他们学会认识一只羊或奥尔兹莫比尔牌汽车。这些是离散的逻辑类别，我们这样做是因为它对我们建立了一个羊识别器或奥尔兹莫比尔牌汽车识别器，而且是有用的，但如果这将变成一个更大规模的智能系统的一部分呢？如果你是一个深层学习的信徒，你不相信深度学习网络会使用离散的逻辑类别或“羊有四条腿”这种明确的知识，你为什么认为训练羊识别器是迈向通用智能的一个步骤，除非通用智能确实使用离散的逻辑类别思考，或者至少反观人类似乎是这样的？

我做的第一件被认为是机器学习领域的一件大事，就是在有限理性（bounded rationality）上的研究。在我看来，智力是一种做事成功的能力。正确思考或快速地学习都有一个目的，就是能够行事成功，或是选择最有可能实现目标的行动。

智力的定义一直围绕着经济学家所推崇的“理性”、控制理论家所关注的“最佳控制”、运营研究者所提到的“决策问题的最佳政策”。在某种意义上，这些的确是我们想要的智力的正确定义。

在AI中，智力的定义是一种限制性的形式，应该有一个逻辑目标，比如我想到这个地方，或建造这个建筑——这是对于“成功”的定义，一个智能的机器就是生成保证实现该目标计划的智能体。当然，在现实世界中，没有任何保证，只有权衡。不确定性和权衡利弊是被包含在经济学对于“理性”的定义中当中的，是预期效用的最大化的一部分；但在我看来，这不可能是AI的基础，因为它不能转化为计算。

如果我们将AI设置为构建效用最大化的智能体，那我们永远不会达成任何目标，因为它从根本上是不可行的，我们甚至不能把效用最大化应用在棋盘上。棋盘是一个微小的，离散的问题。众所周知的，棋盘和完全可观测的现实世界相比只是沧海一粟。而我们又必须在现实世界中运作，这是将会是非常庞大的。我们不知道规则是什么，我们不能纵观世界的全部。世界是那么复杂，有数以万计的微小因素在影响着它。如果想从寻求所谓完美的理性出发，那便是自寻死路。

定义智能：有限最优性

鉴于此，我努力提出一种定义智力的新方法，力求可以提出一套有指导意义的解决方案。这就是有限最优性（bounded optimality）的概念。大致解释说来，如果你有一台机器，机器是有限的——因为它的速度是有限的，内存是有限的，这意味着只有有限数量的程序可以在该机器上运行，并且在该有限集合中，一个或一些等效类程序比所有其他程序更好——这是我们应该关注的。

这就是我们所说的某个机器的有限最佳程序，也可以引申为某个工作环境下的最佳程序。我们可以在这种思路下取得进展是因为我们在有限能力的机器和有限条件的环境中来思考去怎样解决问题。我们可以说，“这是，对于那台机器和这个环境下，最好的程序。考虑到机器不能无限快地运行，它只能做一定量的计算。

在我年轻的时候阅读了很多哲学，启发了我提出这些想法。哲学家所做的事就是寻找那些让你困惑的地方，或者有一些明显的悖论和需要解决的问题的地方。我们退后一步，我们说：“好吧，我们很困惑，或者我们有一个矛盾，因为我们默认了一堆关于我们应该解决什么问题的假设。如果我们抓住这些概念性的障碍不放，就不能做出正确的事，那么我们应该如何退一步并改变问题的定义呢？

我们一直在做的是试图定义什么是“理性行动”，也就是效用最大化的行动，然后就可以说：“好吧，AI的目标是建立总能选择理性行动的系统。事实上，对于有界系统，理性行动的概念是没有意义的，就像是你非要问“如果我不可能计算我应该做什么，我该怎么办？ “。这个问题是没有答案的。你只能谈谈配置是什么，当在现实世界面临决策问题时，我能尽力而为。

理性元推理

我在Kahneman和Tversky是研究生时就注意到了他们的观点，他们对“理性”的批判是有实验支持的。所有的实验表明，人类在经典意义上并不是理性的。从人工智能的角度来看，这就提出了新的问题，AI应该关注什么？我们不打算复制人类，人类的很多行为只是进化史中很多事件的累积结果。没有人说人类本身就是登峰造极之作，但是也没有人能说还有比大自然更好的配置人类的大脑的方式。

现在，很多人重新诠释人类非理性行为，以此证明人类的有限最优性。如果你能做出足够的假设，你可以证明人类所犯的所谓的错误，是在人类硬件的限制下的最优程序所产生的某些后果。程序犯这些类型的错误完全是可以预判的，也是合理的。所以如果你是有限的，无法做无限量的计算，那么你应该计算些什么？这就引出了我们所谓的理性元推理（rational meta-reasoning），简单可以理解为，你做的计算就是有助于你尽快提高最终决策质量的计算。

你可以把这个应用到下棋上，并使用它来控制这个下棋程序的搜索。机器可以在游戏中提前思考数十亿步棋，但是一个人最多只是提前思考几十步。人类如何选择值得思考的东西？这就是个问题。到底什么值得思考？

很显然这类问题就不值得考虑，比如“好，如果我下这步棋，然后我的对手下这步愚蠢的棋...”为什么要这么想呢？他不太可能做出那么愚蠢的回应，所以不值得花时间思考如果他做出那个愚蠢的回应，我将如何赢得比赛。但是，人类就通常会这样想。当你学会下棋时，你不用学习alpha-beta树搜索算法 ，这个算法用于如何在树的各个分支之间分配你的思考时间。我们的大脑能很自然地知道或学习如何将思想分配给不同的可能性，然后很快做出一个好的决定。

我想出了如何做到这一点，并表明你可以应用这种理性元推理技术来控制诸如游戏树搜索之类的东西，即使没有设计算法，也能获得非常好的结果。

我仍然不认为我们应该将 AI 看作算法的集合。算法是针对特定问题的高度工程化的产物。我们有非常高度工程化的双人游戏的算法。当你去玩一个像步步高这样的三人游戏，你便需要一个全新的算法。然而，人类不是这样的。人类学习下棋，学习玩步步高，不需要工程师给出一个新的算法。所以，人类的思维过程必然是从一些更统筹的控制过程中来进行思考和计算，然后得出决策。

也许你也可以说它确实是一个算法，但它是一个能计算出所有能进行计算的价值的算法，然后它只做最有价值的一类计算。这是才是这个算法的本质。这种算法规则适用于所有不同类型的游戏 - 单人搜索问题，双玩家，有几率的双玩家问题，多玩家，规划问题，等等。这个普适性值得被注意。

有两个贡献是我在80年代末和90年代早期工作中最骄傲的：第一，认识到有界最优性是对智力的定义中最后行为指导意义的概念；第二，就是理性元推理的技术。

在思考了很多关于理性和智力的问题后，我决定写一本教科书，因为我没有看到这些概念在现有的AI教学中被清楚地列出来。大多是千篇一律都是：“有个领域叫自然语言处理，讲的是这些这些；有一个领域叫搜索，说的是这些这些；有一个领域称为游戏，我会告诉你那些那些。”问题就在于，各领域之间没有一个统一的线索。

因为没有整体的线索，所以我写的教科书中就为人们明确，其实所有问题背后是理性的代理或有限的理性代理。而且，针对搜索问题、游戏、规划问题所开发的特定方法其实只是你对环境所做的特定假设后所出现的结果，以及在这些假设下做出的所谓理性的决策。在搜索问题中，我们假设世界是完全可被观测的，是具有确定性的，而且只有一个代理，等等；在所有这些假设下，搜索算法是有意义的，但它们只适用于理性决策中的特殊情况。

我在教本科时一直有写自己的思考，记了长达200页。我记这些东西的时候并不是为了出书，只是我后来发现我讲的内容越来越多地偏离现有的教科书了。

AI冬天在88年左右开始，我昨天还在与Aspen Institute交换电子邮件说起这件事儿。他们曾经在80年代时使用“AI冬天”这个词来指代发生在60年代末，70年代初的那个“冬天”。“AI冬天”这个词是Hector Levesque在1986年的一个小型论文中提到的。 “AI冬天”是由“核冬天”这个词演化而来的，据我所知这是在1983年国家研究委员会对大型核战争对气候的潜在影响进行了大量研究后所发明的一个词。AI冬天这个词被第一次使用的时候是80年代末，这也是专家系统行业崩溃的时候。

在那之后，资金枯竭了，学生也减少了。我非常担心这个领域一蹶不振，这个担心一部分也是因为我们当时还在使用70年代或80年代初写的教科书。Pearl（贝叶斯网络的主要提出者之一）出版社的书在88年出版，那时我们已经有了贝叶斯网络，解决了许多导致专家系统行业没落的问题。

专家系统为什么会失败

关于专家系统产业为什么会失败，当下有着许许多多的原因。他们说：“在我们的经济中，有大量的知识性工作。他们都是很昂贵的，专家很难得到。他们要么是退休了，要么是消失了。所以，在建立以知识为基础的专家系统上，存在一个很大的经济利基。而建立以知识为基础的专家系统的方法就是去采访专家。你应该让他从本质上描述他的推理步骤，你把这些知识作为规则写下来，随后，你就能建立基于规则的专家系统，它能模拟专家的推理步骤。但是，很遗憾，我不认为它会以这种方式运行。

每个人都知道，这些问题中，很多都存在不确定性。医学的诊断是一个典型的例子。每个人对医学诊断的认知有一部分都是医学院所教授的那样：如果你有这些症状，那么你就满足某些病的条件，如果你满足了某些病的条件此外还有一些别的状况，那么你将会发展到另外一些症状。整个推理的过程被假定为，从症状到结论再到诊断结果。

他们按照这个方向写了规则，当然你不能从任何给定的症状，就断定一个人有一个特定的疾病，如阿尔茨海默病。所以在过程中，必须加入不确定性。必须有一些结合了证据以支撑结论，或者否定证据等等的方法。

它们基本上必须构成一种处理所有这种不确定性的微积分，这不是概率论，因为概率论不允许基于规则的推理步骤。事实上， Pearl 在他的书中所做的一个主要事情就是解释为什么链规则（ chaining of rules ）不能得到那些概率论认为你应该这么做的证据。

这些系统的发展趋势是，使用少量的规则，你可以调整所有规则的权重，这样你在你希望处理的一系列案例上，它能正确地运行。但当你的案例范围变得更大，有更多的规则和更深层次的链接，你会面临证据数量过多或者数量不足的问题。进而，你在得到最终的结论时，也会面临更多的问题，因为你的确定性远比你真正想要的高得多。这都是真的，因为规则基本上是在运行一个泵循环，由于他们自身处在推理过程中，所以他们会获得越来越多的的确定性。

实际情况是，一些公司在建立了大型的专家系统后，他们发现，让这些系统得到正确的结论，以及系统的维护都变得越来越难。还有一些别的原因，比如，你不得不买一个Symbolics Lisp机器运行来这些包（packages）。您无法将其与其他数据处理硬件和软件集成。你必须雇佣特殊的AI程序员，他们知道如何在Lisp中编程。这其中有很多原因，但主要的是技术本身有缺陷。

另一个有趣的问题是：人类的知识就是人们所认为的形式吗？ 这些你用证据链接起来的规则，会随着你的推进增加不确定性吗？事实证明，要采访人并得到那些规则是非常困难的。你一般不会问，“如果你看到症状A，B和C，你能得到什么结论，确定性如何？你反而会问，“如果一个人有这种疾病，我们一般能见到看到什么症状？这是在因果方向上的，也是专家如何理解健康和疾病的。他们的认知方式是：“这种微生物寄宿在你的肠道，导致这种情况发生，所以会发生这些症状，这就是为什么我们看到一个人眼里含有血丝” 。

当Horvitz 和Heckerman采访专家时，他们发现可以非常迅速地从疾病到症状的方向提取这些因果条件概率，对于专家来说，估计这些概率是非常自然的，而且这些概率也是非常稳定（robust）。想想这样，如果一个人有脑膜炎，肯定有一个因果过程，导致他们有一定的症状，因果过程是独立的。它与患者群体的大小无关。

但看看它的另一方面：脑膜炎给你的印象是一个僵硬的脖子。那么，如果有人颈部很僵硬，他们患有脑膜炎的可能性是多少？这取决于很多因素，比如是否有脑膜炎传染病流行？为什么这个病人在我的办公室第一个感染？他们的状况是不是真的很糟糕？还是他们之所以颈部很僵硬，是因为曾经遇到过车祸？

你可以在因果方向评估的可能性，被认为更有稳定性。在更宽的范围中，它们比诊断方向的概率更有效，因为该概率是否有效 ，也就是你颈部僵硬是不是以为这你患有脑膜炎，这高度依赖于个体之外的其他情况。以及所以所有这些问题一起使专家系统行业失败了，并且，它的失败非常快。

关于深度学习

在这些领域发生的事是：有一些新的技术在出现。现在的深度学习，似乎每个人都在说：“如果我没能抓住这一技术，没能在公司内建立一个知道如何使用这一技术的小组，那我会被远远地甩在身后。”所以，许多公司都开始对深度学习技术进行投入，但是，没有任何证据表明深度学习技术可以有效地解决他们的难题，仅仅是基于一个假设——如果我不这样做我就落后了。这一技术有着获利潜力，我们无法承担错过它的损失。

所以他们在守株待兔，也许在六个月或一年后，他们仍然在等待他们的投资回报，不管这种回报是什么。然后他们开始听到一些传言，比如，类似的公司在尝试六次后失败的故事——因为深度学习并没有解决公司要解决的问题，这一技术对很多问题都不管用。所以，他们很快就失去信心了。

所有这些还没使用深度学习技术获得成功的公司可能会在一夜之间转变自己的思维方式，从“维持我们的竞争力是至关重要的”转变到“我们最好早点摆脱它，不然我们会看起来很蠢”。这就是80年代后期发生在专家系统技术上的事。

这是一个耻辱，因为当时我们已经有了技术解决方案，它能减少很多这些困难。

我记得1993年，我和一群华尔街人一起去吃饭。当时，在他们眼中，我就是个怪胎。我向他们解释，我从事人工智能，在他们听来，我就像在做冷融合工作一般，他们的反应是：“AI失败了。对吗？它已经不复存在。”在他们看来，AI和基于规则的专家系统在商业市场中似乎是同一件事。在华尔街和投资者社区的心目中，它不存在。他们的观点是，“忘记它吧”，当然，在学术领域，我们仍然在推进。

经典教材是如何炼成的？

正如我所提到的那样，我在1994年写了一本教材，想尽可能多地把我们知道的如何使用理性智能体框架的知识融入书中，然后再加入大量关于概率决策的理论知识。Peter Norvig 是书的合著者。 我当时有一些课堂讲义，Peter 会时不时地到伯克利来。他当时是在波士顿的SUN 工作，在那有一个实验室。

在Peter 回到伯克利时，我们一起与Robert Wilensky 讨论是不是可以写一本伯克利 AI 课程教材。Robert 是 Peter 的导师，他对AI 有自己独特的观点，他曾是Roger Schank 的学生。虽然我非常喜欢Robert的陪伴，但是我们依然很难在内容上达成一致。我们对于人工智能的看法有根本上的差异，所以无法展开工作。他有着强势的个性，所以当时我们之间也有很多的争吵。不幸的是，几年前，他去世了。

但是，Peter 确实一个非常好相处的人，他的随和简直让人难以置信。这也是他为什么如此成功的一个原因。 他从来不会试图凸显自我或者能力，他是完全理性化的。你可以和他讨论，他不会觉得受到威胁。他也不试图威胁你，所以与他合作是非常有效率的。他也是一个好的作家和一个伟大的程序员，所以我们花了很多时间一起写关于这本书的代码。在这本书上，我们做的另一个重要的事情是，尝试建立建一套完整的代码，以反映书的原则，书中的理性智能体框架是通用的。我们在一定程度上取得了成功。虽然不完美，但它是一个进步。

这本书将 Pearl 此前所做的工作，还有一些其他的想法，带到了聚光灯下。强化学习也是出现于80年代后期，但是，并没有被广泛地了解或者学习。当时，大多数AI 研究者都不了解马尔科夫决策过程的整个概念。我们试图搭建桥梁，展示 AI 是统计学和运筹学的继续，它研究的是马尔科夫决策过程。因此，他们做的事是就是在不确定性下做决策。

在经济学上，学习效用理论（utility theory），你怎么搭建这些用来描述价值的函数？我们试图把所有这些都带进来，并且创造与其他领域的联系，这对AI 领域的发展也是有用的，让人们意识到，比起只是阅读上一年的大会程序手册然后对论文做一些小改动，AI 领域还是有很多研究需要做的。其实，在所有这些与我们关心的一些问题相关的领域已经有很多文献。所以在1994年，这本书的成果有点让人意外。

这是个很有意思的事。伴随智能系统而来的风险要追溯到 AI 历史的早期。 “ Robot ”这个词来自1920年的一部捷克戏剧，在那个戏剧上，机器仆人崛起并接管世界。在 AI 领域，既有的风险一直都是一个威胁。图灵曾经谈到这个话题：我不知道你能叫它自暴自弃还是什么，但是，“在某个阶段，我们应该期望机器控制。

“智能爆炸”（intelligence explosion）一词，来自 I.J. Good 发表在1965年的一篇论文，他指出，足够智能的系统可以做自己的AI研究和硬件设计，并迅速生产他们的下一代，然后这个过程将加速，人类将被远远地摔在身后。当时，人们看着他的文章，说，“这听起来不错，”然后他们只是回去工作，好像实际的语义内容是不相干的。

Norbert Wiener 1960年在一篇论文中写道。他看到了 Arthur Samuel 的跳棋程序，这是一个通过自己下棋进行学习的程序，最后在跳棋上能力还胜过了 Samuel 。这件事在1957 和1958年时很好地证明了，人们认为计算机只能完成编程所要求的任务是一个绝对错误的认知。如果机器具备学习能力，那么它就能超过程序员自身。

Wiener 正处在开始思考技术对人类的影响的问题，以及如果我们遵循现在的道路，我们能否在长期的未来获得成功。他使用了魔法师的学徒（Sorcerer’s Apprentice）作为例子，“如果你把一个目标输入机器里，你最好绝对地保证这一目的是你真正想要的”，他说。这是自动化所面临的一个大问题，他当时所说的自动化就是我们现在所说的智能系统或者AI。

所以，要思考，或者甚至是想象未来会发生什么都是非常困难的。但是，如果我们没有让其走在正确的方向，我们可能会面临一个并不那么美好的未来。我们需要做的是尽最大的努力弄清楚这一事情。所以，我认为这篇论文是很有价值的。

AI 100 报告“不可理喻”

在英国有政府任命的所谓健康和安全官员，一个忙着走进每个人的办公室说“噢，你应该关上窗户”或“你的车道得拓宽一些”，等等。不过你想象一下100万年前这位健康和安全官员走到那些可怜的先民面前说“啊，你可不能吃那些东西，不安全啊。你的头发可能会着火啊。这可能会引起全球变暖啊！必须得停下来啊！”

100万年前，限制科技的发展太早了。但怀着对全球变暖问题的尊重，我要说100年前其实是个很好的时间点，或者120年前。那时我们已经发明了内燃机和发电及电力系统，我们本可以在完全依赖于化石燃料之前，在发展风力和太阳能发电方面投入更多的精力。而且我们也知道，Arrhenius和其他科学家早就预言了用掉这些化石燃料的结果。

Alexander Gram Bell为此写过论文，但被忽视了。没有投票选择的过程。政府更愿意听从企业的游说，而非科学家。你可能会说是科学家发明了内燃机，但他们也发现了全球变暖并且提出了相应警告。社会倾向于听那些好话，但无视那些逆耳忠言。

当基因工程在70年代启动时，多数人不知道那意味着什么。大多数人甚至不知道DNA是什么。如果当时解释得能更充分清晰，他们很可能会同意科学家的决定，那就是：1）我们要对这方面的实验严格限制，以免意外制造出感染人类的疾病气管；2）我们不允许修改人类基因图谱的实验。这就是科学家所做的，值得赞扬。

这种做法尤其显得难能可贵，鉴于长期以来基因实验的目的是所谓的人类种群的优化。这就是诞生于加州但20世纪30年代移入德国的优生学。这些研究的主要目的之一就是这个。

因为他们会说，“我们可以这么做，但我们不做，因为会产生不希望的社会后果。”我想这是非常勇敢的。本来发起一个真正的公众讨论会很有趣。我相信他们不会允许记者出席。

对于一个民主国家来说，要决定那些复杂的技术问题的界限何在，总是非常困难的。我们如何限制核动力？如何限制医学发展？限制经常是伴随着灾难而来的，而且限制很难充分设计，因为人们正处在灾难带来的愤怒和恐惧之中。

对于AI的发展，我希望能充分设计，尽量未雨绸缪，并意识到回避问题不是办法。 比如说，我看到了几周前刚刚出炉的AI100报告。Eric Horvitz 完成了这个关于斯坦福百年来关于AI研究的报告。他们应该每隔几年就发布这样一篇报告。一些科学家合力完成了这份报告，试图预测到2030年AI会对一个典型的北美人的生活产生什么影响。到时会出现什么样的技术，有何影响？他们讨论了风险，基本上他们否定了达到人类水平AI的可能性，这在我看来有些不可理解。如果他们是AI学院的正式员工，那他们真应该集体辞职。报告说可能会有风险，但我们不应该去讨论它，因为这可能会阻碍相关的研究，这简直是不可理喻。