美科学家玻璃置入“神经网络”，有照光就可执行图像识别运算！

你有没有想过，把神经网络从计算机“搬”进一片玻璃中？

通过神经网络进行图像识别、智能推荐已经非常普遍。最近几年，计算能力和并行处理的提升，使其成为一种非常实用的技术。然而，在核心层面，它仍然是一台计算机，和其他的计算机程序并无差别。并且，其对电力的要求也越来越高。

以识别手写数字为例，这是一个非常经典的深度学习入门课题：你需要经过层层神经网络的前向传播以及以梯度下降，为原理支撑的BP算法调整每层神经元的权重、偏差，来完成最终的识别效果，中间的计算量和参数交换复杂程度可想而知。

美国科学家研发特殊玻璃面板，可以进行神经网络的运算

长久以来，研究者们一直在探索一种更快、更节能的方法来实现神经网络的复杂计算。

近日，来自威斯康辛大学、麻省理工学院和哥伦比亚大学的研究人员发布了一种最新的神经网络，采用一种特殊的玻璃面板，用线性材料和非线性材料仿真网络里的单元，经过训练，也可以完成普通神经网络的工作。

最有趣的是，这种特殊玻璃面板几乎不需要电力，只需要有光照即可工作。目前，研究团队已经用它完成了识别灰度手写数字的任务，准确率达到了79%。

这种特殊的玻璃含有精确控制的夹杂物，例如气孔或诸如石墨烯或其他材料的杂质。当光线照射到玻璃上时，会发生复杂的波纹图案，并且在玻璃上的十个区域之一，光线会变得更强烈。每个区域对应一个数字。

例如，以下是两个在玻璃上识别手写数字“2”的例子：

研究团队称他们设计了非常严格的规则来制作相关实验设备，并且将在尽可能“可大规模生产”的前提下，进一步改进材料提升识别比重。该团队还计划以3D形式创建网络。

通过ANN与光学神经计算，玻璃学会识别数字

Artificial neural networks（ANN）人工神经网络已经广泛应用在深度学习领域，但同时需要计算机不断增强的计算能力，这促使人们努力寻找更快，更节能的替代计算方法，一个典型的方法是optical neural computing光学神经计算。这种仿真计算方法，具有最小的能量消耗，更重要的是，其内在的并行性可以大大加快计算速度。

大多数光学神经计算遵循神经网络的架构，使用分层前馈网络，如图下图（a）所示，自由空间绕射或集成波导被用来分层、激发神经元之间的连接，与ANN中的数字信号类似，光信号在前向方向上通过光网络一次。

那么什么充当BP算法的反馈呢？

正是光的反射提供了反馈机制，从而产生了丰富的波动物理学。在这里，通过光学反射表明，有可能超越分层前馈网络的范例，以连续和无层的方式实现人工神经计算。

下图（b）显示了提出的纳米光子神经介质nanophotonic neural medium（NNM）。光信号从左侧进入，输出是介质右侧的能量分布。计算由例如二氧化硅的主体材料执行，有许多内置物，夹杂物可以是气孔，或具有与主介质的折射率不同的任何其他材料，这些夹杂物在向前和向后方向上都强烈地散射光。

为什么要有夹杂物呢？在光学神经运算中充当什么角色？

夹杂物的位置和形状相当于神经网络中的权重参数，它们的大小通常是亚波长。非线性操作可以通过由染料半导体，或石墨烯可饱和吸收体制成的夹杂物来实现，其中它们执行分布式非线性激发。这些非线性设计考虑了整流线性单元（ReLU），它们允许强度高于阈值的信号通过并阻止强度低于该阈值的信号。

为了更好地说明这种行为，图（d）显示了这种非线性材料的实现，波长为λ的光的输出强度，厚度为λ/ 2，通过设计这种非线性材料，实现入射波强度的非线性函数，将该材料用作非线性激发，如浅蓝色所示。

下图是运行中的NNM，其中训练二维（2D）介质以识别灰度手写数字。该数据集包含5000个不同的图像，其中代表性的图像如图（a）所示，每次，由20×20像素表示的一个图像被转换为矢量，然后被编码为入射在左侧的输入光的空间强度。

在NNM内部，纳米结构产生强干扰，并且根据图像所代表的数字，将光引跳转至10个输出位置中的一个，其中具有最高能量光强的位置对应的类别被判定为最终结果。图（b）所示由两个不同的手写数字“2”创建的过程，由于手写数字的形状不同，由这两个图像产生的field patterns是完全不同的，可以看到图（b）中的黄色的光的形状略有不同，但两者在输出处的相同区域显示很高的光强度，正确地完成手写数字的识别。

同样，图（c）显示的是识别两个不同形状手写数字“8”的情况，在十个区域的另外一个位置产生很强的光强，这里，通过使用有限差分频域（FDFD）方法求解非线性波动方程来仿真场。NNM的大小是80λ到20λ，其中λ是用来携带和处理信息的光的波长。

对于由1000个图像组成的测试集，平均识别准确度达到79%以上，报告的准确性有限是因为研究者在制造问题的优化过程中，设置了严格限制。这些约束使得介质保持密集，否则它将由稀疏的空气和二氧化硅部分组成。通过放宽这些要求或使用更大的介质尺寸，可以进一步提高最终的测试精度。

从实验室到业界还有多远？

听起来这个玻璃中的神经网络似乎还是个实验室的雏形，但是，在查阅相关数据的过程中，小编惊喜地发现，早在2015年，就有一家法国的创业公司，在用这种光学的方式实现神经网络。

这家叫做LightOn的公司有一个有趣的slogan：用光改变计算的未来，希望通过光学仪器仿真计算设备，进而提升计算速度、尺寸和功率效率收集自然物理过程。并且推出了一款光学处理单元（OPU）的硬件协处理器。它旨在提升机器学习中一些计算密集度最高的任务。OPU可以插入标准服务器或工作站，并通过一个简单的工具箱访问，该工具箱可以在熟悉的程序环境中无缝集成，已通过LightOn Cloud向选定用户提供全面的OPU原型。

在使用案例部分，小编还发现了这家公司的一些实际应用已经超过了识别手写数字，包括图片和图片识别、推荐系统、NLP等相关系统都有涉及。

虽然相关数据距离目前的业内使用还有一定距离，但是，对于追求运算能力和能效的运算领域来说，也许真的能为这个领域带来一些不一样的东西。