超级人工智能崛起的“奇点”：人类如何阻止AI带来的“灾难”

至少自19世纪以来，人工超级智能的发明一直是科幻小说的中心主题。从E.M.福斯特(E.M. Forster)的短篇小说《机器停止》(The Machine Stops, 1909)到HBO最近的电视剧《西部世界》(Westworld)，作家们往往把这种可能性描绘成一场彻头彻尾的灾难，但这个问题不再是虚构的。当代杰出的科学家和工程师现在也担心，超级人工智能有一天可能会超越人类智能(这一事件被称为“奇点”)，成为人类“最糟糕的错误”。

目前的趋势表明，我们将为这种技术进入一场国际军备竞赛。无论哪个高科技公司或政府实验室成功地发明了第一个超级人工智能，都将获得潜在的世界主导技术。这是一个赢者通吃的奖品。因此，对于那些想要阻止此类事件发生的人来说，问题是如何阻止这种军备竞赛，或者至少激励参赛团队不要在人工智能安全方面偷工减料。

正如哲学家尼克•博斯特罗姆(Nick Bostrom)等人所指出的，超级人工智能给它的发明者提出了两个根本挑战。一个是控制问题，即如何确保超级人工智能具有与人类相同的目标。如果没有这些，人工智能可能会故意、意外或疏忽地危害人类，这将是一场“人工智能灾难”。

第二个问题是一个政治问题，即如何确保超级智慧的好处不仅属于少数精英，还会造成巨大的社会和财富不平等。如果超级人工智能军备竞赛发生，它可能会导致竞争对手忽视这些安全问题，以便更快地开发自己的技术。这可能导致一个低质量或不友好的超级人工智能。

目前研究者给出的解决方案是，利用公共政策，加大参与竞争的难度，以减少竞争群体的数量，提高参与竞争的群体的能力。竞争对手越少，为了获胜而偷工减料的压力就越小。但政府如何才能以这种方式减少竞争呢?

研究者首先展示了在一个典型的赢者通吃的比赛中，例如构建第一个超级人工智能的比赛中，只有最具竞争力的团队才会参与。这是因为真正发明超级人工智能的可能性非常小，而且由于需要在研究和开发方面投入大量资金，参与竞争的成本非常高昂。

的确，这似乎是目前发展较为简单的“狭义”人工智能的现状。这类人工智能的专利申请由少数几家公司主导，而大部分人工智能研究只在三个地区(美国、中国和欧洲)完成。目前似乎也很少(如果有的话)有集团投资建造超级人工智能。

这表明，减少竞争群体的数量目前不是最重要的优先事项。但即使参赛选手人数较少，激烈的竞争也可能导致上述问题。因此，为了降低打造超级人工智能的企业之间的竞争强度，并提高它们的能力，政府可以转向公共采购和税收。

公共采购是指政府付钱给私营公司提供的所有东西，从政府机构使用的软件到运行服务的合同。政府可以对任何需要它们解决潜在问题的超级人工智能供应商施加限制，并支持互补技术，以增强人类智能并将其与人工智能集成。

但政府也可以提供购买一个不太好的超级人工智能版本，有效地在军备竞赛中创造一个“二等奖”，阻止它成为赢家通吃的竞争。有了一个中间奖，它可能是发明某种接近(但不完全是)超级人工智能的东西，竞争团体将有动力进行更多的投资和合作，从而降低竞争的强度。第二名还将降低失败的风险，并为更多的投资提供理由，帮助提高参赛团队的能力。

至于税收，政府可以根据人工智能的友好程度或不友好程度，对发明超级人工智能的群体设定税率。一个足够高的税率将意味着超级人工智能的国有化。这将强烈地阻止私营企业偷工减料，因为它们担心自己的产品会被政府抢走。

公共产品而不是私人垄断

这一想法可能需要全球更好地协调税收和超级人工智能的监管。但这并不需要所有政府都参与其中。理论上，一个国家或地区(如欧盟)就可以承担解决超级人工智能问题和伦理问题的成本和努力。但所有国家都将从中受益，超级人工智能将成为一种公共产品，而不是不可阻挡的私人垄断。

当然，这一切都取决于超级人工智能对人类的威胁。一些科学家认为人工智能并不会威胁人类，随着时间的推移，我们可能会自然而然地消除超级人工智能的风险。一些人认为人类甚至可能与人工智能融合。

无论如何，我们的星球和它的居民将从确保我们从人工智能中得到最好的东西中受益匪浅，人工智能技术仍处于起步阶段。为此，我们需要更好地理解政府可以发挥什么作用。