可信人工智能的可回溯问题之讨论

什么是安全可信的人工智能系统的可回溯问题？

当人工智能模型在运行中出现错误和故障的时候，设计者可以通过可回溯机制定位错误的产生局部和成因。可回溯是一种追责的机制，能够帮助设计者设计约束智能模型应用的规范。

人工智能的可回溯问题主要有两条可能途径，即基于因果的反事实推理和自省学习系统。

路径1：基于因果的反事实推理

可回溯问题的本质是针对已发生的事实和结果，追溯导致其发生的原因。该问题可被描述为“what if”的问题，即对于既定事实，假如对前置条件进行一定修改，事实将会如何改变。因此，本质上这是一个反事实问题。而反事实推理则是以此类问题为对象所发展出来的一套方法体系。其核心是要厘清系统内所有变量之间的因果性依赖关系，当对系统某些变量施加一些干预或改变时，其他变量会依照因果依赖关系进行传导，直至对系统输出产生影响。而此过程的逆过程，即对某输出结果进行路径性回溯。

引入知识图谱，可以帮助解决回溯路径的问题， 在某种程度上是比较接近可解释的一条路径，即对模型的预测或决策给出一定的原因解释。但知识图谱本质上应该属于推理的载体层面，关乎推理的对象，而不是推理的过程和方法。知识图谱可以从推理对象层面提高可回溯和可解释性。而基于因果的反事实推理是从推理模型的层面保证可回溯，这属于推理过程层面。另外，因果不等于知识，它更像是一种推理手段和推理逻辑，可以从数据中发现变量之间的关系，但是这种关系不一定能沉淀为具有普世价值和具有传承意义的知识。因此，在解决可回溯性问题中，应将知识图谱和因果推理在不同层面区别对待。

路径2：自省学习系统

人类的大脑存在“双系统”机制。卡尼曼等人的研究表明，人类有“快思考”和“慢 思考”两种思考模式。人类在产生预测、判断或决 策行为时往往效率优先，不一定是逻辑驱动，而且往往是不自知的，即“快思考”。但是当人类反思的时候，则会尝试用一套系统来解释过去的行为，从而弥补“效率优先”所带来的风险，即“慢思考”，这套系统游离于行为系统之外。因此，一个具有可回溯性的智能系统可能由两套系统构成。第一系统是产生行为的系统，第二系统是一个基于逻辑、基于可解释的反事实推理的自省学习系统。第二系统能够对系统自身行为进行反思，从而逐渐达到稳态，并实现知识的沉淀。

自省系统是一个二阶系统。比如因果推断会从一些数据行为上提炼出其中的因果结构，而自省系统相当于在一个推理系统之上，基于推理机器本身 的行为再归纳出来一个系统。就像我们人类，除了从外界学习信息识别，还可以把这种归纳和学习的过程本身当成数据，在脑子里面进行反思，然后再经过提炼形成更高效的学习和归纳机制。系统科学中的二阶控制论的观点与此类似。在复杂系统方面 已有一些相关研究，这些研究能够给予人们一些启发。无论模型是一个神经网络，一个元胞自动机，还是一个多主体系统，在追溯的时候，都需要有另外一套机制或者另外一个计算模型，能够从原系统中读取数据和信息，并重构一个类似于因果图的结构，而这就是自省学习系统的目标。