我们离通用人工智能还有多远？

作者：戴维·多伊奇

译者：王培

戴维·多伊奇是牛津大学物理学家和英国皇家科学协会的成员，是最早提出多重宇宙论的全球著名理论物理学家。他最新出版的一本书已有中文版，名叫《无穷的开始：世界进步的本源》。该书也得到了哈佛大学著名心理学家和认知科学家斯蒂芬·平克的推荐。译者已读完该书，受益匪浅。多伊奇在本文中详尽探讨了他对通用人工智能的看法，其见地与侯世达似乎很接近。

在某些方面，人类大脑的能力远超宇宙中所有已知的生命体，这一点是没有争议的。只有人类才能理解宇宙的存在；或者能够理解为什么存在着无穷多的素数；或者能够理解由于时空的弯曲，苹果会掉落；或者知道按照自己天生的本能行事可能会犯道德错误；或者能够意识到自己的存在。人类的这些独特能力似乎还不能仅用大脑中的物质来解释。一个冷峻的物理事实在于，只有人类能把自己安全地送入太空，又安全地返回地球，或者能够预测和阻止流星撞击地球，或者能够把物质的温度降低到离绝对零度只差十亿分之一的程度，或者能够在银河星系内探测外星生命。

然而，地球上没有任何一个人接近于了解，为了实现上面所提到的那些能力，大脑究竟做了些什么。人为实现这些能力的事业——“通用人工智能”领域，或者简称AGI——自它起步以来的60年间没有取得实质进展。

为什么？正如一个不知名的智者曾经所说的那样，“给我们造成麻烦的，并不是我们的无知，而是我们对自己并不了解的事物坚信不疑”（如果你知道这个智者是马克·吐温的话，那么你就不会对自己拥有的知识抱有那么坚定的信心了）。我不知道还有哪个重要的知识领域，其主流认知充斥着如此根深蒂固、自我强化的根本错误，不管是在整个社会还是在专家当中。人工智能已成为人类最自信的领域之一，认为该领域将很快实现根本性的突破。

尽管有着长时间的失败历史，通用人工智能肯定是可以实现的。这是由物理规律的深层次性质所决定的，也即是算法的通用性。算法涵盖了物理规律能够让物体所做的每件事，而从原则上讲，这些事件的任何一个细节都能通过通用计算机上的某种程序加以模仿，只要我们给予它足够的时间和记忆。第一个提出这种猜想并探索了其中某些问题的人，是19世纪的数学家查尔斯·巴贝奇和他的助手阿达·洛芙莱斯伯爵夫人。直到1980年代，当我用量子计算理论证明了算法的通用性时，它仍是一种猜想。

巴贝奇所提出的通用性是一条没有前途的路径。事实经常告诉他，数学函数表（比如，对数和余弦）包含着错误。那时，这些数学函数表是由一群职员汇编起来，他们被称为“计算者”，这就是后来计算机这个词的来源。作为人类，这些计算者是会犯错的。尽管有精致的纠错系统，但对人来讲，校正印刷上的错误都是一个极大的噩梦。犯这种错误不仅很麻烦，而且代价很大：它甚至会闹出人命。比如，函数表被广泛应用于航海。因此，巴贝奇设计了一种机械计算器，并把它称之为“差分机”。它被预装了一些齿轮，能够驱动一台打印机，从而自动打印函数表。这就将差错率降到了可以被忽略的程度，为人类带来了永久性的便利。

不幸的是，巴贝奇的工程管理技能太差，以致于尽管他花掉了自己和英国政府的大量资金，还是没能把计算机搞出来。然而，他的设计是可靠的，后来被在伦敦科学博物馆工作的工程师多伦·斯瓦德带领一帮团队制造了出来。

这种认知任务只有人类才能完成。在已知的宇宙中，没有任何物种能接近人类的能力，但差分机可以比最有能力的人表现得更好。因此，甚至是在自动计算处于早期历史的蹒跚阶段——在巴贝奇设想出类似通用人工智能的概念之前——我们就已经看到了直到今天仍有争议的哲学困惑的苗头：人类计算的能力与差分机的能力之间到底有什么区别？什么类型的认知任务是一种物体能够完成，而另一种物体原则上不能完成的？

两者之间一个直接的差别在于初级步骤（比如，计数、加、乘以10，等等）的序列，而差分机计算给定函数所使用的序列并不是根据人类“计算者”所使用的方法来设计的。也即是说，两者使用了不同的算法。就结果而言，这不是一种根本性的差异：差分机可以用额外的齿轮和杠杆来调校，从而可以精确模仿人类的计算方式。然而，由于更复杂的机器增加了故障的数量，这种调校没有达到目的，反而提高了差错率。类似地，在不改变硬件（生理）、只教授不同计算方法的情况下，人类也能够模仿差分机方法的每一个细节——只不过这么做实际上是一种倒退。人类体现不出差分机的主要优势，也即它的准确性，而这种优势取决于硬件，而不是软件。它只会让这一艰苦而无趣的工作变得更艰苦、更无趣，而这又可能导致人类犯更多的错误，而不是更少的错误。

对人类而言，计算同样的表格，结果却有差别——不同的差错率——这显然是由两种不同算法的差异所造成的。这一事实让人产生了异样的感受，但差分机却没有这种感受，因为它没有感觉。差分机绝无可能体会到无趣，而人类则可以。在诸多认知任务上，前者都不如后者，这算是其中一例。差分机也无法像巴贝奇那样知道或证明，如果两种计算方式能被正确使用，它们可以得出一样的结果。差分机更不可能拥有类似巴贝奇那样的心理愿望，希望让自己惠及航海船员和人类福祉。事实上，它的功能只局限在评估一小部分专门的数学函数上（基本上就是计算单一变量的幂级数）。

在思考如何才能增加差分机的功能时，巴贝奇首先意识到，差分机运行的编程阶段本身应该实现自动化：齿轮的初步设置可以被编码到穿孔卡片上。然后，他提出了一个划时代的想法。差分机可以被调整用于冲压新的卡片，并存储这些卡片，以备今后之用，这就是我们今天所说的计算机存储。如果它能运行很长时间——就像他所设想的那样，由蒸汽机提供能量——并且能为它提供不限量的空白卡片，它的功能就会从完成一小类的数学函数计算扩大到任何具有计算能力的物理客体能执行的所有类型的计算。这就是算法通用性。

巴贝奇把这种改进的机器称为“分析机”。他和洛芙莱斯知道，这种通用性具有革命性的力量，能改进几乎科学研究和制造程序的每一个方面，也能造福于人类的日常生活。关于分析机的具体应用，他们提出了极富前瞻性的构想。他们知道，它可以被用于做代数运算、下棋、谱曲、处理图片，等等。与差分机不同，人们可以对它编写程序，让它采用人类所使用的数学函数计算方法，并且它能够证明这两种方法都能给出一样的结果，也能做同样的差错检查和校对（比如说，使用具有视觉特征的认知方法）。

不过，这种分析机能感受到同样的无趣吗？它能感知事物吗？它想要造福人类吗（或者造福分析机群体吗）？它可以不同意程序员对它的编码吗？这些问题是巴贝奇和洛芙莱斯回答不了的。他们认为，人类大脑的某些认知功能是超越了计算通用性范畴的。洛芙莱斯写道，“分析机不会假装创造了任何事物，它只能做我们知道如何让它去做的事情。它可以分析事物，但它没有能力预测任何分析性的关系或知识。”

然而，“创造事物”、“做出分析”和“预测分析性的关系和知识”都是人类大脑的行为，因此，也可以说是构成了大脑的原子的行为。这些行为都是遵从物理规律的。所以，算法通用性意味着，只要按照正确的程序，一部分析机也能做出人类的这些行为，一个原子接着一个原子，一个步骤接着一个步骤。的确，大脑中的原子能够用金属齿轮和杠杆而不是器官材料来模拟——但在当前阶段，认为能把这些物质生成为独立的心智实体，还是一件过于遥远的事情。

巴贝奇和洛芙莱斯想把他们对分析机的热情传递给他人，为此，他们做了最大的努力，但最终还是彻底失败了。在本可能会改变人类历史的事件中，通用计算机的想法算是其中一个，但这一概念逐渐在人们头脑中消失了。直到20世纪，当阿兰·图灵写出一系列关于心智的精巧杰作，才为经典计算理论奠定了基础，界定了计算能力的局限性。图灵也参与到了最早的通用经典计算机的设计之中，并帮助破解了德军机密，为二战盟军的胜利做出了贡献。

图灵完全理解通用性。在1950年的论文《计算机器与智能》中，他用通用性概念驳斥了他所谓的“洛芙莱斯夫人异议”以及其他合理或不合理的每一种异议。他的结论是，包括了人类大脑所有独特功能在内——感受、自由意志、意识以及其他——的计算机程序是可以被编写出来的。

这一令人震惊的观点将学术圈撕裂为了两个阵营，一边坚信通用人工智能是不可能实现的，另一边则认为它即将来临。两边的看法都是错误的。首先，每个阵营都引用了大量理由，从超自然的理由到逻辑混乱的理由，并且刚开始这些理由都拥有极大的影响力。但所有人都犯了一个共同的错误：他们根本不理解算法的通用性对于自然世界、尤其是对于人类大脑意味着什么。

不过，有一个阵营犯下的基本错误对人工智能的停滞不前负有责任。他们错误地认为，人类大脑与其他物理系统在功能方面的所有区别都是根本性的，因此，计算机程序所具有的其他特点都无法被用于实现大脑的具体功能。不可能存在一种编程技术，能够让计算机实现大脑的功能。也不可能通过不断改进计算机程序在执行任务上的表现来做到这一点，无论这种表现能做到多么好的程度。

为什么不能？我把处于问题焦点的核心功能性称为“创造力”：提出新的解释的能力。比如，假设你想让某人为你写一个计算机程序，将温度度量标准从摄氏度改成华氏度。即便是差分机也能做到这一点。像分析机这样的通用计算机就更是可以用多种方法来实现它。为了让程序员明确具体要实现的功能，你可能会，比如，提供一个很长的清单，上面有你想输入到程序中的内容（比如说，从-89.2到+57.8之间的所有数字，以0.1为单位递增），以及相应的正确的输出内容，于是在每一种情况下，程序都能查找出答案。另一种方法是，你可以编写一个算法，比如，“除以5，乘以10，加上32，四舍五入到最接近于第10个位置的那个数字”。关键在于，无论程序如何运行，如果它总能在设定的温度范围内正确转换你给它的任一温度数字，那你就可以认为它满足了你的具体要求——成为了“善解人意”的温度转换器。

现在，设想你要求一个程序有更复杂的功能：解决理论物理学中的某个难题——比如说，暗物质的性质——并为之提出一种新的解释，该解释既可靠又严格，还能符合学术刊物的出版标准。

这种程序就可以被假定为是通用人工智能了（至少达到了这个标准）。但你该如何把这样一个具体的任务指定给计算机程序员呢？先不用管它比温度转换更复杂这一事实：还有更根本的困难。假设你给了程序员一张暗物质解释的清单，就像编写温度转换程序所做的那样，而这些解释的输出方式是该程序可以接受的。如果稍后该程序确实输出了那些解释中的其中一个，那也不能算是满足了你的要求，因为它没能提供新的解释，那些解释都是已有的解释：那是你为了写出编程指引，自己事先提供的一些解释。因此，在这一案例中，实际上在所有为真正的通用人工智能编程的案例中，如果一个算法能实现它想要实现的功能，那就算成功了。然而，写出那样一种算法（不是先有物理学的发现，再把它写进程序）正是你希望程序员做到的事情！（译注：作者在这里的意思是，程序员如果能写出那样一种算法，他就已经解决暗物质问题了，而这种难度是可想而知的）

传统意义上，人们对通用人工智能的讨论仅仅强调对程序的测试，而不是强调如何撰写编程指引——传统的程序测试是由图灵自己提出来的。图灵测试是指，当人类用某种纯粹的文字媒介——以便只考察认知能力对结果的影响——与程序互动时，人类无法分辨该程序究竟是人类还是机器。但这一测试纯粹运用了行为主义方法，并没有真正回答该程序是否满足了通用人工智能的标准。该测试也没能满足“进化算法”的评判标准：如果不首先知道如何编写通用人工智能程序，图灵测试本身是无法实现智能自动化的，因为要对一个程序做出“判断”，这种判断本身就需要具备目标能力（target ability）（关于我认为生物进化如何从一开始就赋予了我们这种能力，参见我的《无穷的开始》一书）。

无论如何，通用人工智能绝不可能用纯粹的行为主义来定义。在经典的“缸中之脑”思想实验中，当大脑信息输入和输出的管道被暂时切断时，大脑仍能思考、感受、提供解释——它仍然拥有通用人工智能的所有认知特征。所以，通用人工智能程序的相关特征不仅仅是由程序的输入和输出构成的。

结果便是，不像以往任何通过编程而实现的功能，通用人工智能既不能通过编写程序指引，也不能通过对输出结果的测试来实现。它需要哲学上的突破，需要一种新的认识论，从而可以解释大脑是如何产生解释性知识的，由此可以在原则上定义哪些算法具有通用人工智能的功能性，哪些算法没有这样的功能性，并且也不需要把这些算法当作程序来运行。

这种认识论超越了今天的知识。我们对认识论的理解告诉我们，只要没有哲学上的突破，任何试图建立通用人工智能的方法都是无效的。不幸的是，我们所理解的认识论大多包含在哲学家卡尔·波普尔的著作中，而它们的重要性被普遍低估和误解了（甚至——或许尤其——是被哲学家低估和误解了）。比如，几乎每个科学家都理所当然地认为，知识是由被证实的真信念所构成的，因此，通用人工智能的思维必须包含某些程序，这些程序能够证实它所提出的理论是否为真，或者是否是可能的，同时拒斥那些假的或不可能的理论。然而，通用人工智能的程序员需要首先知道这些理论来自于哪里。流行的误解在于，通过假设“未来会重复过去”，通用人工智能就能通过所谓的“归纳法”，从反复出现的经验中“获得”（或“推断”，或“概括”）理论。然而，这是不可能做到的。比如，在连续观察了数千次之后，我记住了日历上年份的前两个数字是“19”，而我从来没观察到例外的情况，直到有一天，日历的数字变成了以“20”开头。我不会为此感到惊讶，我完全预计到，还需要经过17000年，日历的数字才会再次以“19”开头。如此长的时间间隔，不仅我没有机会，所有经历过“19xx”年代的人，也没有机会再次经历以“19”开头的年份了。

我是怎么从连续的经验模式“预计”到从“19”到“20”的显著转变的呢？我又是如何知道接下来会出现一个从来没有观察到的进程（17000年的间隔）？因为知识不仅仅来自于对重复观察的推测。如果一个人不知道一种现象的理解解释，就敢提前预测未来，那么“未来会重复过去”这一前提就不会是真的。实际上，未来可能在大多数方面都与过去不同。当然，如果知道了现象的解释，那些巨大的“变化”在19xx年代的早期就能被预计到了，因为这背后有着不变的潜在模式或规律。但解释总是发生在预测之前。如果没有这样的解释，同样的事情以连续有序的方式反复发生，这一现象就需要得到解释。

所以，为什么通过归纳法获得理论仍是我们的传统智慧？当然，出于某些原因，这超出了本文探讨的范畴。实际上，传统智慧也无法摆脱所谓的“归纳难题”，也即是：“为什么会有归纳，它是如何运作的，而且竟然能产生被证实的真信念，尽管归纳既不可能发生，其所产生的结论也并不可靠？”由于存在这一难题，每一次反驳（就像波普尔和大卫·米勒在1988年的辩论一样），不仅没有终结归纳主义，还导致科学界的主流人士惊叹于对伟大的“归纳难题”的深度产生了更大的敬畏。

在如何看待通用人工智能的问题上，把它看成是一种“归纳难题”，这种看法带来了严重的负面后果，使得通用人工智能问题看起来很容易解决，因为它把思维看成是一个预测过程，感官经验的未来模式会跟过去的模式一样。这看上去就像是在预测——计算机总是在做预测（一旦它们被给予了数据是如何产生出来的理论）。但在现实中，只有很小一部分思维是与预测有关的，更不用说我们感官经验的预测了。我们对于世界的思考不仅仅与物质世界有关，还与抽象世界有关，比如，对与错、美与丑、无穷大与无穷小、因果、虚构、恐惧和抱负——以及关于思考本身。

现在，我们要从另一个角度来谈真理。知识是由对猜想的解释构成的——在所有类型的世界中到底哪些猜想是真实存在的（或者真的应该存在，或者可能存在）。即便在硬科学中，这些猜想也是不着边际的，而且也不需要得到证实。为什么？因为真实的知识尽管顾名思义的确包含了真理，但也几乎总是包含错误。因此，我们所谓知识的真，不是数学和逻辑意义上的真。思考包括了批评和修正部分为真的猜想，有意发现和消除错误和其中的误解，而不是仅仅从感官数据中产生或证实猜想。因此，试图创建通用人工智能，让它做到后一种思考，就像祈祷上帝把创世发生在火星上并创造生命一样，是不可能的。

当前，有一种最具影响力的归纳法版本被用在了通用人工智能（和科学哲学）上，那就是贝叶斯主义。这个名字取自18世纪数学家托马斯·贝叶斯，这对他来讲是不公正的、无辜的。该主义认为，心智的工作方式是通过将概率赋予人们的思想，然后用经验来修正那些概率，从而选择如何行为。当涉及到通用人工智能的价值观时——与通用人工智能的选择和意图有关的道德观和美学观——这种方法是尤其有害的，因为它只赋予了通用人工智能行为主义模式，被“经验”所“奖励”的价值观得到“强化”，成为主导行为，而那些被“经验”所“惩罚”的价值观则被消灭。正如我在前面提到的，行为主义的输入输出模式适用于大多数计算机程序，而不适用于通用人工智能，而且这条路对于通用人工智能来说也走不通。讽刺的是，主流心理学大多拒斥行为主义，认为它是不全面的、不符合人性的，然而计算机科学由于对归纳主义存在着哲学意义上的误解，仍试图用行为主义的方式来产生与人类心智一样的认知能力。

此外，尽管前面提到了大量我们给出了科学解释的现象，但我们给出这种解释的核心方法——也即是波普尔式的猜想和反驳——有着自己独立的、统一的逻辑。因此，通用人工智能中的“通用”一词也需要得到准确理解：计算机程序要么具有波普尔式的不可全知的求真逻辑，因此可以像人类一样思考任何事物，包括思考自身和思考如何改进自身；要么它就不具有这种逻辑，因此就不是真正意义上的通用人工智能。于是，又出现了另一种毫无希望的通用人工智能方法，也即是，从现有的知识出发，通过编程来执行具体的任务——比如，下棋、执行统计分析、搜索数据库——然后试图改进这些程序，以期这种方法能在无意中产生通用人工智能，就像《终结者》电影中突然出现“天网”一样。

如今，AI领域加速涌现出大量令人惊叹的、具有实用价值的应用，有些最新的应用甚至比预想的速度出现得更快。AI圈通常欢迎这些技术上的进展，并认为他们正在接近于实现通用人工智能，但这是一种既不令人惊叹也不那么有用的看法。这种信心的一个尤为明显的例子发生在最近，由IBM开发的一个名叫沃森（Watson）的搜索引擎击败了一个名叫“危险”（Jeopardy）的字谜游戏节目的最佳选手。美国公共电视台的系列纪录片《Nova》称沃森为“地球上最聪明的机器”，并认为它“用软件模仿了人类的思考过程”。吊诡的是，这正是它没能实现的任务。

像玩“危险”游戏这样的任务——就像我们今天会为每一个电脑应用感到惊叹一样——是完全能够用标准化的、行为主义的方式来完成的。在沃森所给出的答案中，没有任何一个可以作为新的科学发现发表在期刊上。在玩这个游戏时，人类使用创造力来产生潜在的猜想，虽然输给了机器，但这并不意味着机器已经接近了人类的认知能力。正好相反，人类和机器所使用的是两种完全不同的方法。同理，当一个电脑程序在象棋上击败了一个大师时，他们所使用的也是完全不同的算法。象棋大师可以解释为什么从战略角度考虑牺牲马是划算的，并且能以这个主题写一本书出来。但机器只能证明牺牲棋子会不会把对方将死，而且它也不能为此写本书，因为它根本不理解下象棋的意义是什么。解决通用人工智能问题与玩“危险”游戏和下象棋不是一回事。

不同于所有其他计算机程序，通用人工智能所涉及的是定性问题，而不是定量问题。类似突然出现“天网”所造成的误解同样也对人们看待通用人工智能造成了误解，认为通用人工智能具有复杂系统的涌现性质，或者不断增强的计算能力最终会导致通用人工智能的产生（就像某人已经写好了一个通用人工智能程序，但花了一年的时间它才说出第一句话）。事实上，大脑的独特能力要归咎于它“大规模的并行处理”能力，或者归咎于它的神经元结构。这两种原因都不符合算法通用性。在没有详尽理解大脑是如何工作的前提下去期待通用人工智能的出现，就相当于期待只要把摩天大楼修得足够高，它就能学会飞起来。

1950年，图灵预计，到了2000年，“人们可以谈论机器思考而不觉得有什么怪异之处”。1968年，亚瑟C.克拉克（Arthur C. Clarke）预计，2001年可以做到这一点。然而，现在已经是2012年，还没有人在探索通用人工智能方面比图灵本人做得更好。

这一事实并不会让第一个阵营的人感到惊讶，他们属于数量日渐减少的通用人工智能的悲观派。但对另一个阵营的人（通用人工智能的出现近在咫尺），这一失败的历史需要得到解释——或者至少需要让这种失败显得合理。事实上，他们没有为失败的事实感到苦恼，因为他们对通用人工智能能力的更大期待让他们不屑于为失败的经验提供合理化的解释，他们的期待甚至会比以往更甚。

“通用人工智能”这一术语就是一个典型的例子。该领域曾经使用“AI”这个术语——人工智能。但“AI”逐渐被用于描述与通用人工智能不相关的计算机程序，比如，下象棋、搜索引擎和聊天机器人，直到“通用”（G）这个词被加入进来，人工智能似乎就变得高大上了。但现实情况是，通用人工智能只是比聊天机器人稍微聪明一点的物种。

另一种合理化的解释是这样理解“通用”概念的：通用人工智能并没有那么了不起；现存的软件已经足够聪明或已经变得更聪明，但不是人类的那种聪明，我们赋予它太高的期望是不切实际的，也是文化上的偏见。这一观点引起了一些争议，从负面意义上讲，它暗合了一直流行的作为非理性主义的文化相对主义；从正面意义上讲，它又与如下看法有关：“我们人类为自己是动物之王而自豪，但这种自豪用错了地方，因为动物也有语言、工具……和自我意识。”

还记得我们曾经赋予“天网”以“自我意识”吗？那是另一种哲学误解，它本身就足以妨碍任何通向通用人工智能的可行方法。现实情况是，当今的软件开发者只能在行为主义层面让程序具有“自我意识”——比如，可以使程序通过“镜子测试”，能让程序用镜子来推断自己的存在——如果程序员想要这么做的话。据我所知，没有程序员做过这种事情，也许是因为这是一种很没有实用价值的能力，也是一种微不足道的能力。

也许，与通用人工智能有关的自我意识之所以没能得到人们重视，是因为库尔特·哥德尔的理论以及20世纪出现在形式逻辑上的各种争议，让任何类型的自指因其神秘性而获得了巨大的声誉。因此，意识也是如此。在这里，我们又碰到了一个含义模糊的术语问题：“意识”这个词具有广泛的含义。在含义谱系的一端，它是一个哲学问题，涉及主观感受性（qualia），而这正是通用人工智能想具备的能力。在另一端，“意识”仅仅是指，当我们处于麻醉状态时，我们失去的那种东西。很多动物都有这类意识。

真正的通用人工智能应该具有自我意识——因为这是“通用”的应有之义：它们能够意识到每一种深奥而微妙的现象，包括它们自身。但这不意味着能够通过镜子测试的猩猩具有人工版本的通用人工智能所具有的“通用智能”特征。事实上，理查德·伯恩（Richard Byrne）对大猩猩行为的卓越研究表明，猩猩能够从同类那里学会有用的行为，而不需要理解它们的行为目的：这解释了猩猩的认知方式实际上是行为主义式的。

讽刺的是，为通用人工智能提供合理化解释的那个阵营（通用人工智能已经实现了/是微不足道的/存在于猩猩中/是一种文化自负）正好印证了通用人工智能悲观论阵营的观点。对于每一种悲观论点，比如，“你不可能实现通用人工智能，因为你绝不可能将人类灵魂编入程序，因为灵魂是超自然的”，乐观阵营都会提出反驳，“如果你认为人类认知能力在性质上不同于猩猩，你就必须相信存在着超自然的灵魂。”

还有一种对失败的合理化解释，认为“任何我们尚不知道如何写入程序的东西就是人类智能”。这一观点是由哲学家约翰·塞尔（属于悲观派）提出的，他指出，在电脑出现之前，蒸汽机和稍后出现的电信系统也被类比为人类大脑的运作方式。塞尔认为，对通用人工智能的期待基于类似的不恰当的比喻，也即是认为心智在“本质上”就是一种计算机程序。但那不是一种比喻：算法的通用性是符合已知的物理规律的。

还有一些人，比如数学家罗杰·彭罗斯，认为大脑使用的是量子计算法，或者甚至是超量子计算法，这些方法依赖于超越了量子理论的尚未知晓的物理定律，这就解释了为什么现有的计算机无法实现通用人工智能。要解释为什么我和大多数量子计算理论的研究人员不认同彭罗斯的观点，超出了本文的探讨范畴（如果你想了解更多的相关内容，可以参阅利特（Litt）等人于2006年发表在《认知科学》期刊上的论文《大脑是一台量子计算机吗？》（‘Is the Brain a Quantum Computer?’））。

从一开始，通用人工智能每一方面的含义都指向了人类智能。如果一个程序哪怕只有一种认知能力不符合人类的特征，从定义上讲，它就不算是通用人工智能。使用非认知特征（比如，碳基物质的构成比例）来定义人类也是不恰当的。但问题在于，创造新的解释是人们（人类和通用人工智能）独特的、在道德和智力上具有重要功能的能力，他们是通过猜想、反驳和改变一切事物来实现这种能力的。

当前，人类通常是从象征意义而不是从事实意义上来被看待的——为了表达敬意，我们故意将一个实体（一只猩猩、一个胎儿、一家公司）视为一个人，以便实现某些哲学或现实的目标。但这不是一种好的做法。我们不应该纠结于术语，如果你愿意的话，可以换一种术语，实际上我们也有其他理由尊重对待不同的实体，让它们免受伤害，等等。同样，由客观标准所定义的人类与其他实体之间的区别具有极大的道德和实践重要性，因此也对包括通用人工智能在内的文明的运行至关重要。

比如，如果把运用的程序而不是电脑看成是一个人，一旦通用人工智能生物出现，这一看法就会产生无法解决的哲学问题，从而引发实践争议和政治争议。一旦一个通用人工智能程序正在电脑上运行，为了阻止它的运行，电脑就会成为一个谋杀犯（或者至少有可能会被错误地囚禁或奴役），就像从身体中剥夺了人的心智一样。但与人类的身体不同，一个通用人工智能程序可以被一键复制到无数的电脑上。尽管它们执行的仍是相同的步骤（也即是，在它们因为可以做出随机选择或经历不同的体验而各具差异之前），那些程序算是一个人，还是很多个不同的人？它们有一张选票，还是很多张选票？删除它们中的一个是属于谋杀，还是轻微伤害？如果有些混蛋程序员，在一台电脑或者很多台电脑上，非法地创造了数十亿个不同的通用人工智能生物，又会发生些什么呢？它们仍然是人，拥有权利。但它们都有选票吗？

此外，通用人工智能就像任何其他具有创造力的实体一样，我们必须忘记“程序”这一术语的现有内涵。像对待其他电脑程序一样对待通用人工智能，会带来洗脑、奴役和独裁等现象。对于孩子而言，很残忍的一点是，不像其他编程行为，为一个正在运行的通用人工智能编写程序实际上就是在教化人工智能。这会带来道德和事实争议。忽视通用人工智能的权利和人格不仅是邪恶的，还是一种灾难：有创造力的存在不应该永远处于被奴役的状态。

有些人很想知道，我们是否应该欢迎我们的新机器君王。有些人希望知道我们如何操控它们的程序，好让它们不至于伤害人类（就像艾萨克·阿西莫夫的“机器人学法则”），或者阻止它们获得这样一种理论：宇宙应该被改造成回形针（就像尼克·博斯特罗姆所想象的那样）。这些都不是真实存在的问题。现实生活中，总有个别的人特别有创造力，其产出——经济上的、智识上的或其他方面的——比大多数人高出数千倍，但如果这个人把他的能力用于邪恶，其所造成的危害也是巨大的。

这些现象与通用人工智能无关。善与恶的观念斗争就像人类历史一样古老，无论这些观念所运行的硬件是什么样子，这些斗争都会持续下去。问题在于，我们想让智能具有（道德上）的善念，并总能击败邪恶的生物智能和人工智能，但我们也会犯错，我们自己对于“善”的理解也需要持续不断的改进。为了取得进步，社会应该如何被更好地组织？“奴役所有的智能物”是一种灾难性的错误答案，“奴役所有与我们不同的智能物”也不是一个更好的主意。

这意味着，我们必须停止将教化（对于人类或通用人工智能的教化）视为执行说明书——运用已有的不能修改的知识，绝对顺从已有的价值观。正如波普尔所写道的（他的文字是写于科学发现的语境下，但它同样可以应用于设计通用人工智能和教育孩子）：“通过复制说明书，或者通过从观察中归纳出说明书，或者通过环境提供说明书，我们是不可能发现新的知识或新的理论的，因此，也就没有说明书可言了。相反，我们是使用试错法来获取知识的。”也即是说，我们使用的是猜想和反驳。学习必定是新创造的智能物为了自己所做、所控制的事情。

我提及所有这些哲学问题，并不是因为我担心在我们发展出哲学思想来理解通用人工智能，并将其整合进人类文明之前，它们就已经出现了。完全相反，我相信，发展通用人工智能所面临的所有问题都是哲学问题，而不是计算机科学或神经生理学问题。哲学的进展对于通用人工智能未来的整合至关重要，也是发展通用人工智能的先决条件。

通用人工智能之所以进展缓慢，是因为我们对它的停滞不前有严重的误解。没有波普尔的认识论，人们甚至无法知道，为了设计出通用人工智能，我们应该让它实现哪些具体的功能。波普尔的认识论并非广为人知，更不用说它没能得到很好的理解，并被投入到实际应用之中。将通用人工智能设想为一种机器，可以将经验、奖励和惩罚转化为思想（或者更糟的是，转化为行为），就好比试图通过平衡身体体液来医治传染疾病一样无效，因为两者都基于古老而又严重错误的世界观。

如果不理解通用人工智能的功能在性质上与其他类型的电脑程序完全不同，一个人就是在做无用功。如果一个人沿着程序的方向前进，而程序的“思考”本质上无法打破业已存在的局限，那么这个人的努力就是在远离人类智能的真正特征：也即是创造力。

找出停滞不前的原因并不能提供解决问题的答案。然而，答案并不总是那么难以找到，如果从人类智能的角度来考虑的话。明白了目标能力是人类根本性的能力，会带来另一种后果，那就是，既然人类拥有这种能力，而猩猩没有，那么如何实现这种能力的答案就必定就蕴藏在人类DNA和猩猩DNA的细微差别之中。因此，从某个方面来讲，我是站在通用人工智能乐观阵营里的：突破横亘在我们和通用人工智能之间的障碍，只需要解决我所提到的那个问题就可以了。然而，这可能也是有史以来最难的问题之一。