本世纪“超人”AI 就有可能让人类成神仙，也可能引发世界末日

据英国媒体11月24日报道，本世纪建造的“超人”（Superhuman）人工智能（AI ）机器可能创造出神仙（immortals），或者引发世界末日。《人工智能不想杀你》(The AI don ' t Want to Kill You)的作者汤姆·奇弗斯(Tom Chivers)说，他在与世界上一些最著名的超人类学家和人工智能专家交谈后了解到这一情况---他解释说，人工智能领域的许多主要人物认为这些“超人”人工智能机器对人类可能产生的影响方面存在分歧，但最好和最坏两种情况的确都可能出现。

汤姆·奇弗斯他与谷歌Android的密码工程师保罗·克劳利(Paul Crowley)的一次特别谈话让他感到震惊，因为保罗·克劳利告诉他，好的前景是他自己的孩子可能会长生不老，永远不会老去，但坏的前景是他们有可能被人工智能消灭，“他的理由是，如果你看看大多数人工智能研究人员的想法，你就会发现，真正强大的超级人工智能将在大约50年至100年后出现。”“此外，如果你问他们(人工智能专家)，如果出现这样的超级人工智能机器结果会是什么？专家们中的相当一部分人认为，人类文明有20-30%的可能会被终结。”“超级人工智能机器真的会杀死所有人；或者，它们认为它可以结束人类的贫困和疾病，让我们永远生活在幸福中。”“我的想法是，在我的孩子的有生之年，甚至在我的有生之年，我们可能即将面临一些真正令人惊叹或完全灾难性的事情。”

汤姆·奇弗斯说，“这是大多数人工智能研究人员认为如果我们建造一些令人难以置信的超级人工智能机器，它将真正改变人类的生活，或好或坏。”

对于今天人类而言，人工智能最大的问题在于，人类很难预测它将如何执行指令。比如，人工智能研究人员珍妮尔·谢恩（Janelle Shane）说，人工智能在接受模拟训练时，会“侵入矩阵”，发现数学错误并“收集它们以获取技能”。

汤姆·奇弗斯在书中描述说，他回忆了一个令人不安的实验，在这个实验中，人工智能被教去玩“井字游戏”(tic-tac-toe)，一台人工智能机器竟然学会了“通过迫使对手崩溃”来赢得胜利。

汤姆采访的另一位专家是尼克·博斯特罗姆（Nick Bostrom），他开创了著名的“回形针最大化理论”（paperclip maximiser theory），这一理论表明，如果一台生产回形针的人工智能机器按照“生产最大化”命令执行的话，很可能把整个人类的资源都变成回形针。汤姆·奇弗斯认为，虽然像“终结者”（Terminator）一样邪恶的机器人可能更多的是科幻而不是事实，但人工智能仍然有可能可以杀死我们，即使它并非真的想要杀死人类，但可以执行“回形针最大化理论”的人工智能机器人只需要简单地按命令执行，那么就真的可能制造毁灭性的灾难。