创业公司Neurala新突破：在本地计算中解决“灾难性遗忘”

安妮 编译整理

在英伟达的GPU技术大会上，创业公司Neurala演示了新型深度学习神经系统解决方案，宣布解决了深度神经网络设计中的“灾难性遗忘”问题。他们正在为这个解决方案申请专利，并宣布计划在第三季度将新功能加入到Neurala Brain的SDK（软件开发工具包）中。

Neurala Brain是该公司的主要产品，让普通终端设备不依赖云服务器，可以直接加上人工智能。

杀死“灾难性遗忘”

迄今为止，AI系统虽然在深度学习方面取得了较大的突破，但在连续学习领域却一直停滞不前。如果一个AI系统在学习了任务A后再开始学习新任务B，则任务A的相关知识会被遗忘。如果还需要执行任务A，则需要从零开始重新训练。这个现象可以用一个术语来概括，我们称之为灾难性遗忘(catastrophic forgetting)。

对于灾难性遗忘，传统的解决方法需要强大的云服务器，即使用超级计算机进行并行化的数据处理。这种传统方法的弊端就在于必须依赖海量的数据系统，还可能导致隐私泄露。

云服务器不是全部

这也不是Neurala第一次提出无云服务器这个理念了。2016年，Neurala受NASA之邀，研发了一套具备“自主勘测”能力的火星探测器导航系统，这个系统能在单个GPU芯片上独立运行。而Neurala的主要产品Neurala Brain，也是秉持着在本地设备上运行的概念而设计的。

Neurala的 AI系统不依赖云计算，即可在智能移动芯片上实时检测行人和车辆

Neurala通过结合不同的神经网络结构，实现了动态学习。无论有没有云服务器，都可以直接在设备上完成学习任务。这种学习方法不依赖网络传输，还可以确保隐私不被泄露。现在，它还解决了神经网络学了新的、忘了旧的这一问题。

实则应用仿生学

人工神经网络面临着灾难性遗忘的问题，但人类和其他动物却可以连续学习。有资料显示，哺乳动物的大脑可以通过大脑皮层的神经元突触保护先前的记忆，从而完成连续性学习，这种固化方式叫做突触固化。

△ 神经突触与记忆间有着密不可分的联系

Neurala称，他们的神经网络系统从人类大脑中获取灵感，模仿大脑的学习和分析模式。目前，Neurala系统可以实现从工业无人机到电子产品、摄像机等各种智能产品的实时学习、调整和交互。玩具可以识别其主人，监控摄像机可以识别到具体的安全威胁，自驾车可以学会避免障碍，保证驾驶安全。

身世离奇的Neurala

在2006年1月，Anatoli Gorchetchnikov, Massimiliano Versace, Heather Ames三人创立了Neurala，提供适用于智能设备、机器人、无人机、无人驾驶汽车和玩具等的软件解决方案。它们希望帮助智能机器学习周围环境，并与之发生互动。

一晃就到了7年后——在2013年2月，Neurala开始进行种子轮融资，先后有Robolution Capital、Right Side Capital Management、SK Ventures等5家投资方对它进行了超过75万美元的种子轮投资。Neurala好像对融资这事真的不着急，到今年1月份，才拿到由Pelion Venture Partners领投的1400万美元的A轮投资。从成立到A轮，Neurala的融资时间跨度有11年之久。

△ 2014年，创始人之一Versace在TED上展望机器人的未来

Neurala最初为美国国家航空航天局和美国空军提供解决方案，现有客户主要是摩托罗拉、Parrot和Teal无人机。

关于DeepMind的相关研究

灾难性遗忘这个问题也不只是Neurala在研究。今年3月，Google Deepmind就公开了一篇新论文介绍自己在“记忆”方面的进展。这篇名为《克服神经网络中的灾难性遗忘（Overcoimg catastrophic forgetting neural networks）》的论文已经在《美国科学院院刊》（PNAS）上发表。

论文地址：http://www.pnas.org/content/114/13/3521.full

DeepMind在这篇论文中提出弹性权重巩固（EWC/Elastic Weight Consolidation）这种新算法，为了验证这种算法的可行性，DeepMind训练它同时学习多个不同策略的游戏。虽然此前系统并未接触过这两个游戏，但使用了EWC算法后，系统可以胜任多个任务的连续性学习。DeepMind坦言，同时完成多个任务不如单独训练的效果好，但无疑我们离灵活自由化的学习程序又迈进了一步。

△ DeepMind的新程序同时应对两个任务的学习进程

关于Neurala的新产品，该公司CTO北京时间今晚还会在GTC大会上发表题为《忘记灾难性遗忘：人工智能在重新部署后的学习》的演讲。Neurala的新方案到底能掀起多大的波浪，还需我们继续观望。