新算法让人工智能不再“灾难性遗忘”

神经网络是目前人工智能（AI）技术的基石：从自动驾驶汽车、面部识别到语音助手，神经网络的算法机制无所不在。

采取人类大脑的一个机制，就可以极大地提高人工神经网络学习多项任务的能力

神经网络是目前人工智能（AI）技术的基石：从自动驾驶汽车、面部识别到语音助手，神经网络的算法机制无所不在。神经网络在一定程度上模仿了神经元在大脑中的通信方式，但是不少研究者都发现，与灵长动物真正的大脑相比，“深度学习”系统还在许多基本功能方面相差太远。

举例来说，人工神经网络会出现“灾难性遗忘”的问题：如果你给一个训练好的网络安排新的学习任务，那么以前的训练结果就会被“忘掉”——这个过程发生得很快，只要几次迭代训练，从前学习到的东西就完全被覆盖、忘掉了。比如先训练一个神经网络学会区分狗和猫的照片，然后再训练它区分狗和马，那么上一个技能会像“狗熊掰棒子”忘得一干二净。

美国芝加哥大学神经科学家的一项新研究发现，采取人类大脑的一个机制，就可以极大地提高人工神经网络学习多项任务的能力，并避免这种“灾难性遗忘”。该研究发表在美国国家科学院院刊上。

这个新算法能让单个人工神经网络以最小的精度损失来学习和执行数百个任务，从而可能实现更强大和有效的人工智能技术。

芝加哥大学神经生物学教授David Freedman是这个项目的负责人。他介绍说：通常的神经网络要想学会更多技能，网络本身也必须扩大。但是人类的大脑则能将大量知识打包到一个相当小的网络中。当你看到大脑中涉及高级认知功能的部分时，你往往会发现相同的区域——甚至是相同的细胞——会参与许多不同的功能。大脑的这个机制给科学家带来了灵感，帮助神经网络解决“灾难性遗忘”的挑战。

对于大脑来说，即使相同的神经元被用于多个任务，也能够“不断学习”，获取新知识而不覆盖旧记忆。这是因为大脑能够针对不同任务，选择性地激活细胞或细胞组分，为每种技能或特定语境形成相互重叠的“子网络”。

研究人员受到这种大脑机制的启发，开发了一种称为“语境依赖门控”的算法，运用到人工神经网络中。对于每个新的技能学习任务，只激活20％的神经网络；在学习了100项不同技能后，单个节点可能涉及20项技能，但每个技能都对应一组特定的节点。

结合以前由谷歌公司和斯坦福大学研究人员开发的方法，这种“语境依赖门控”算法能让同一个神经网络学习多达500个任务，准确度只发生很小的损失。

“让人惊喜的是，这样简单的机制就能取得非常好的效果，”Freedman实验室的博士后研究员Nicolas Masse说。 “通过这种方法，一个中等规模的网络能够学习许多不同的任务。”

当然，这样的研究还能让实验室“不忘初心”，更好地理解灵长类动物的大脑。研究人员说，在计算机系统中实现学习、注意力、感官处理和其他功能的建模，也能够给生物实验带来启发与动力，不仅探索人工智能，更深入服务于人类智能的研究。

参考链接：

https://techxplore.com/news/2018-10-brain-inspired-algorithm-ai-multitask.html