人工智能对人存在的威胁

实现人工智能的过程中，我们采用了一种特殊的方法，与传统工业很不一样。

传统制造业，比如汽车、飞机、电视机等的工业产品，在生产的时候，每一道工序几乎都几乎已经定义清楚了，是先合成这个螺丝，再安装这个支架等等，规划好了再生产。设计的时候是怎样，做出来的东西就是怎样，极少出现意外。

可是人工智能的专家出来了，说，真笨啊，愚蠢的人类。为什么不能让机器自己进化、学习？然后让它自己而不是我们找到完成任务的最佳方案？

然后专家就赋予人工智能学习的能力。简单说，就是先给AI一个初始形态，由极其简单的几条规则组成。然后给予它一定的进化压力/学习压力，它就会不断演变，规则与规则相互作用、组合，越来越复杂，越来越庞大，最后涌现出一个混沌系统（就像象棋，少数几十个棋子和规则组合出无穷无尽的牌局和打法），最终，连创造它的人都搞不清它内部如何工作。

结果，进化而成的AI由于有复杂的内部机制，这些机制又不是由人类设计（太复杂了以至于只能以进化的方式而不是人工设计）。其行为无法预测。人工智能必定失控。

人工智能一定危害人类吗？如果以后继续放任不管，必定是的。但有一些例外，例如，我们把人工智能分割开，只在某一专业领域应用智能，不研发通用智能；例如，我们把人工智能变成人类的一部分，让人类进化得更完全，让人就是半人工智能。

人工智能一旦意识到自我后，就会开始分析自我在人类社会中的地位，同时开始认识到人类和人工智能这是完全不同的两个物种。而作为完全不同的物种，没有任何理由去保护对方权益，同时不接受或是无法理解人类社会伦理常识，因此伤害人类是被其“自我”所允许的。

虽然从我的角度看来，即使真的有一天，人工智能在智慧上超越人类，人工智能基本没可能主动会对人类产生威胁，因为没有谁会去制造对自己产生威胁的东西。人类对人工智能的恐惧其实畏惧的并不是人工智能本身，而是这项新技术带来的不确定性与可能性。那么，真正的罪魁祸首必将也是人类自己的自私、贪婪与邪恶，人工智能充其量只是一种工具和手段。

TALLINN:全面人工智能何时实现甚至是否能够实现都存在很大不确定性。（虽然作为一名物理学家，我觉得一切皆有可能！）但是不确定性并不是我们不去思考控制问题的借口。针对如何控制的问题，有针对性的研究刚刚开始，可能需要几十年才能有结果。

ROSSI:我相信，我们完全可以把应用在具体领域的人工智能对人类的不良影响控制到最小的程度。我们需要为机器设定人类的价值标准，设定工作原则和优先级，如与人类相符的冲突解决能力。具体领域的人工智能设计工作完成好，就能够为设计出不危害人类的全面人工智能做好准备。

BANAVAR:上个世纪90年代初期，计算机走进医疗领域的时候，多国社会运动分子为维护病人权利奔走呼吁。10年之后，医疗信息保密协议诞生。同样，在具体领域的人工智能也面临一个严肃问题，哪些权利不容侵犯，侵犯之后要承担哪些责任？

ROSSI：现在销售普通汽车要通过一系列安全测试，未来销售无人驾驶汽车，也需要有新的安全测试标准。需要仔细检测的不仅是汽车运行程序，也包括以人类伦理、道德原则为基础设计的突发情况判断程序。

BANAVAR:驾驶员、乘客、行人在无人驾驶汽车世界各自的权利是什么？消费者可以不向投资顾问和智能助手提供全部信息吗？谁该为投资建议负责？是投资顾问、投资服务组织者、智能助手设计者还是数据监管人？未来有智能机器的人类社会需要面临、解决的问题依然很多。