基于记忆器的霍普菲尔德神经架构，用于解决组合优化问题

图的左上角显示了一个迭代能量最小化过程，该过程使用典型模拟硬件中固有的噪声来查找全局最小问题环境（最佳解决方案）。右下角显示了已解决的最大切入问题的示例。背景是研究人员的电子记忆芯片的图片。

在过去的几年里，许多研究人员试图开发能够解决组合优化问题的技术和工艺，这需要在一系列可能性内确定最佳项目或解决方案。以往的研究已经解决了这些问题，使用退火启发的计算加速器基于各种技术工具，包括量子，光学和电子设备。

然而，到目前为止开发中的大多数方法都未达到大规模解决组合优化问题所需的处理速度和能源效率。这样可以防止在工业环境中和其他实际环境中实现它们。

惠普公司（Hewlett Packard Enterprise）的研究人员最近开发出一种基于记忆器的退火系统，能够快速高效地解决组合优化问题。 这个系统发表在《自然电子》杂志上，它使用一种基于霍普菲尔德神经网络的节能神经形态结构，这是约翰·霍普菲尔德于1982年首次传播的一种循环神经网络，可用于实现自动关联记忆。

"2008年，我们在HPL的研究小组发现了记忆器（即内存电阻器），这是一种双终端设备，即使在断电时，也可以将信息存储在电阻状态，"进行这项研究的研究人员之一苏哈斯·库马尔告诉TechXplore。在 2017 年，我们假设嘈杂的内存器可用于构建 Hopfield 网络，该网络可用于解决 NP 硬优化问题，而不是它们关联内存的最初目的。

几年来，在将基于霍普菲尔德的网络架构从不太有利的解决方案中驱逐出时遇到的困难使得这些架构无法成为主流。Kumar 和他的同事能够克服这一限制，并构建一个基于内存器的芯片，该芯片就是霍普菲尔德网络的例证。与过去开发的其他系统相比，它们的芯片可以通过利用自身的噪声来解决任何组合优化问题。

参与这项研究的另一位研究员托马斯·范·瓦伦伯格告诉TechXplore说："与苏哈斯提到的工作同时，HPL还有一项研究，研究是否硅光子学可以用于计算而不是交流，这是我加入公司以来一直在研究的领域。"在某些时候，我们正在设计一种称为光学 Ising 机器的光基加速器，它非常适合解决组合优化问题。我意识到，尽管物理特性非常不同，但这个系统也可以在模拟电子中使用电子学实现。

最近发表在《自然电子》上的论文是库马尔与HHP的记忆器团队的其他研究人员以及Van Vaerenbergh和他的同事合作的产物，他们专门从事一个称为光子学的研究领域。结合他们的专业知识，这两个团队最终能够设计出一个新的记忆器霍普菲尔德神经网络（mem-HNN）架构，利用任何电路中存在的噪音，使用创新的技巧。

Kumar 说："更具体地说，我们实现了一种滞后反馈，使噪声的放大和抑制达到任何预定水平，然后可以注入电路的所需部分，从而将系统从次优解决方案中分离出。"基于芯片在 60 个节点的尺度上的实验性能，我们预测其性能将超过最佳 CPU 和 GPU 10，000 个能耗，以解决任何给定的优化问题。

Kumar、VanVaerenbergh及其同事认为，他们的记忆器霍普菲尔德网络将超越任何竞争的量子或桌面光学方法，数量之大。有趣的是，这些桌面光学方法是范·瓦伦伯格和HHPL光子团队过去进行的光学下一代组合优化加速器的许多研究的起点。

研究人员利用该系统解决了不同的非确定性多项式时间（NP）难题，并在一系列模拟中探索了其可伸缩性。他们的结果很有希望，表明他们的系统是大规模解决组合优化问题的理想解决方案。

Van Vaerenbergh 说："与 Suhas 和其他从事当前模拟电子纸合作者一起，我们发现该系统的电子版本也具有非常吸引人的能效和速度指标，明显优于光学桌面系统。其他光子团队现在也在尝试通过实验方式展示集成光子方法的效率，包括麻省理工学院的一个团队和拉萨皮恩扎大学、ISC-CNR 和索邦大学的团队。

Kumar、Vaerenbergh 及其同事最近的工作证明，电子噪声（大多数研究人员在开发数字或模拟硬件平台时试图减少或消除）实际上可能证明对某些优化应用很有用。通过将这个想法成功地与非易失性记忆器横杆阵列的内存计算功能相结合，他们设计的新芯片可以帮助加快依赖于组合优化算法的各个领域的计算速度。

Kumar 说："这项研究最引人入胜的结果之一是电路噪声（人们几十年来一直努力将电路噪声最小化），实际上可用于加速解决某些类型的计算难题，而人们也一直在努力解决这些难题。因此，它结合了将一个典型的不需要的电路方面用于解决我们非常关心的问题（称为 NP 硬问题）。

今后，这个研究小组开发的新mm-HNN系统可用于解决一些NP难题，包括天气预报、导航优化、供应链优化和基因测序任务。到目前为止，这种新芯片只在实验室中得到演示，但慧与可能很快就会扩展其用于制造，并朝着广泛的商业化方向发展。

Van Vaerenbergh 说："我们现在也在研究我们技术的实际使用案例，而不是迄今为止我们工作中一直在使用的学术基准任务。"能够加快解决客户关心的问题是我们的目标。