人工智能学派之间的「联姻」——Yoshua 新作居然用DL「复活」了符号主义

新智元报道

来源：arxiv

编辑：keyu

【新智元导读】近日，Yoshua Bengio及其团队利用深度学习，开发出了一套可以揭示丰富视觉环境中的潜在规则的「神经生产系统」，使得现在暂时沉寂的符号人工智能重新恢复了活力。

相信大家都知道，目前人工智能的主要学派有下列三家：

(1) 符号主义(symbolicism)，又称为逻辑主义、心理学派或计算机学派，其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。

(2) 连接主义(connectionism)，又称为仿生学派或生理学派，其主要原理为神经网络及神经网络间的连接机制与学习算法。

(3) 行为主义(actionism)，又称为进化主义或控制论学派，其原理为控制论及感知-动作型控制系统。

符号主义曾长期一枝独秀，为人工智能的发展作出重要贡献，尤其是专家系统的成功开发与应用，为人工智能走向工程应用和实现理论联系实际具有特别重要的意义。

1986年，鲁梅尔哈特(Rumelhart)等人提出多层网络中的反向传播(BP)算法。此后，连接主义势头大振，从模型到算法，从理论分析到工程实现，为神经网络计算走向市场打下基础。

而现在，Youshio Bengio干了一件神奇的事情——他带领团队，使用深度学习使符号人工智能恢复了活力：

近日，Youshio Bengio和一组研究人员引入了一个端到端深度学习模型，该模型部分受到经典人工智能生产系统的启发，可以在视频中构建以对象为中心的实体表示，并使用可微分和可学习的生产规则对其进行操作。

研究团队主要来自于蒙特利尔大学的Mila、DeepMind、Waverly和谷歌Brain。

任何结构化视觉环境（如视频）中的对象或者实体都具有可见和潜在的属性，这些属性决定了他们如何相互作用。为这种相互作用建模的传统方法是使用等变图神经网络（GNNs）。

然而，这种设置并不理想，因为GNN并不能预先处理稀疏交互，也不能以实体条件的方式分解交互的知识。

本文提出的神经生产系统（Neural Production Systems，NPS）则解决了这些问题。

论文链接：https://arxiv.org/pdf/2103.01937.pdf

NPS由一组规则模版组成，通过将规则中的占位符变量绑定到特定的实体，这些模版可在丰富的可视环境中分解特定于实体和基于规则的信息。

我们知道，根据物理定律，把盘子从餐桌上推下去会导致盘子掉到地板上，并且很可能会摔碎。

尽管从未学过基本的物理知识，即使是孩子，也可以用命题表达的方式来表达这一知识，比如:「如果一个盘子从桌子上掉下来，它会摔碎。」

然而，这种命题知识的简单表达仍然是深度学习体系结构的一个挑战，原因有两个:

1）命题是离散的，彼此独立

2）命题必须被量化为一阶逻辑的方式。

关于符号知识表示的命题推理，经典的人工智能方法提供了一些有价值的视角。其中，一个简单的例子是20世纪80年代的生产系统，它通过条件-动作规则来表达知识。

现在，研究人员从深度学习的角度重新审视了这种产生系统，并提出了一种神经生产系统，可以自然的将感知处理和随后的视觉推理问题的推理结合起来。

研究人员提出的NPS与传统的生产系统都有四个基本性质：模式、抽象、稀疏和对称。他们规定了知识是如何表示的。

这个生产的体系结构，还支持实体表示的检测和推断，并且能控制他们交互的潜在规则。

图：规则和槽的组合

在上图中，条件操作规则指定实体如何交互，插槽则维持实体的时变状态。每条规则都与一对插槽匹配。通过键值注意力机制，我们可以确定匹配的优度，并选择规则及其对插槽的绑定。

在实验部分，研究人员测试了NPS的有效性。其中一项涉及了学习数字的加、减、乘运算的算数任务；实验还涉及了MNIST转换，以测试扩展到更加丰富的视觉设置的能力；最后，为了模拟简单的物理世界，实验还包括了一个动作约束（Action-Conditioned）的模型。

图：算术任务

上图使了用不同序列长度对应的均方误差损失（MSE），该部分主要将NPS与基线模型进行了比较。

图：MNIST转换

图：Action-Conditioned模型

上图中的（a）使用了H@1指标比较了NPS和GNN（越高越好），（b）表示了在在物理环境中使用单个规则时，NPS中使用的规则应用步骤数量的影响。（c）则对NPS和GNN模型中五款游戏Atari游戏H@1的平均得分进行了比较。

在算术任务中，NPS的MSE明显低于基线。在MNIST转换任务中，NPS成功地学会了使用单独的规则来表示每个转换，而物理环境模拟则验证了NPS从简单(少数对象)环境到更复杂环境的推断能力。

参考资料：

https://arxiv.org/pdf/2103.01937.pdf