深度神经网络实现透过厚散射介质成像

现有的解决光散射后成像的方法主要是采用相干光成像，该方法由于噪声高导致对比度很低，不能得到清晰的图像。近日，中国科学院上海光学精密机械研究所司徒国海研究员课题组提出了一种混合神经网络，成功实现了通过厚散射介质成像。

背景

当光在厚的散射介质（如皮肤等生物组织、浓雾等自然环境）中传播时会发生许多次散射，波前会受到许多次随机调制，导致无法形成清晰的像。针对这一问题，传统思路是通过门控技术选通只经过很少次散射的弹道光，如基于光学相干成像(OCT)即是利用相干门选通弹道光的方法。但弹道光的功率随着光在散射介质中的传播而呈指数衰减（衰减到1/e为一个光学厚度）。虽然在一般条件下弹道光能成像，但由于在“门”打开的短暂时间内仍然有大量的散射光到达像面，导致所成的像对比度极低，甚至会导致及其微弱的弹道光淹没在散射光的“噪声”之中。最近，随着计算光学成像技术的发展，研究人员提出了多种利用散射光而不是弹道光的成像方法，如传输矩阵法、相位共轭法、波前整形法和记忆效应法等等。但这些方法都各有优缺点和适用条件。例如，基于散射光关联特性的记忆效应法在面对厚的散射介质时会失效；同时，由于它是一种介观效应，当被观察物体尺寸较大时也会失效。

从记录到的散斑恢复物体图像是一个欠定的逆问题，尤其在被厚散射体散射的情况下，弹道光的信号极弱而散射“噪声”很强，导致经典的解逆问题的最优化算法都无能为力。中国科学院上海光学精密机械研究所司徒国海研究员课题组发现以深度学习为代表的人工智能技术可以用来解决这一难题。

深度学习方法通过对一系列原始数据的学习，自动提取数据中的抽象信息，并将抽象信息进行组合得到复杂抽象的特征，再使用这些特征解决最终的问题。这个方法已经广泛地应用在计算机视觉、图像处理、语音识别、自动驾驶、目标识别等领域，并取得了十分瞩目的成果。

该课题组于2017年提出了将深度神经网络用于解决透过厚散射体成像的想法。此后，MIT的George Barbastathis教授课题组提出了利用卷积神经网络通过薄的毛玻璃恢复物体的相位，Boston大学的Lei Tian教授课题组利用通过不同毛玻璃之后采集到的散斑图对卷积神经网络进行训练，提高了神经网络的稳健性，从而能够在一定程度上实现通过不同的毛玻璃成像。

最近，该课题组在2017年工作的基础上，针对卷积神经网络对通过强散射介质之后从散斑图中恢复物体时拟合能力不强等问题，提出了一种混合神经网络，成功实现了通过厚散射介质成像。

实验原理及结果

课题组成功实现了用波长为532 nm的连续激光透过一块光学厚度达13.4的聚苯乙烯板获得成像。该方法将卷积神经网络模型与全连接网络模型相结合：首先用2个卷积层提取散斑图中的结构信息，随后用3个全连接层增加网络的拟合能力，最后用3个卷积层对图像进行恢复重建。这样的方法既提高了神经网络的拟合能力，又尽量避免了全连接网络中物体结构信息丢失等问题，成功地实现了通过厚散射介质成像。在实验中，3990张MNIST手写字符及其对应的散斑图被用于训练网络，训练网络的时间大约为194 s。网络训练完成后，20张不包括在训练图像集合中的MNIST手写字符所对应的散斑图被用来测试网络，结果表明，从每张散斑图恢复出物体的时间大约为0.78 s。

实验光路如图1所示，被空间光调制器(SLM)反射的激光通过厚的散射介质之后被相机接收，图1(b)与图1(c)分别表示通过散射介质之前与之后采集到的物体图片。将采集到的散斑图与加载在SLM上的图片输入神经网络进行训练，网络训练完成之后就可以利用深度神经网络实现通过散射介质成像。实验恢复结果如图2所示。

图1 (a)利用深度神经网络实现通过厚散射介质成像实验光路示意图，(b)通过散射介质之前图像，(c)通过散射介质之后采集到的散斑图，(d)散射介质聚苯乙烯板，(e)散射介质侧视图。

图2 利用深度神经网络恢复的结果。(a)散斑图，(b)利用深度神经网络实现的恢复结果，(c)物体图片，(d)利用记忆效应恢复的结果。

从图2(b)的结果可以看出，利用深度神经网络可以实现记忆效应（图2(d)）无法实现的效果，这证明了深度神经网络通过厚散射介质成像的有效性。

此外，实验发现，利用基于深度神经网络的通过散射介质成像技术，可以实现仅仅利用原始散斑图0.1%的信息对物体进行恢复。实验中，原始采集到的散斑图为512 pixel×512 pixel、16位深，而利用深度神经网络，可以利用从采集到的散斑图中选取的任意64 pixel×64 pixel二值化图像实现物体成像恢复，相关的实验结果如图3所示。

图3 利用深度神经网络实现图像压缩，第一行为采集到的散斑图，第二行为利用深度学习恢复结果，第三行为物体图片。(G1)为灰度区间为[25000,30000]的散斑图，(G2)为灰度区间为[35000,40000]的散斑图，(G3)为灰度区间为[40000,45000]的散斑图，(G4)为以35000为阈值的二值化的散斑图。

结论

由此可见，利用深度学习方法可以实现通过厚的光学散射介质成像，并可以减少恢复物体需要的散斑图的信息量：仅仅利用散斑图0.1%的信息就能够实现物体图像的恢复。这种基于深度学习的散射成像技术今后有望在通过生物组织成像等领域得到广泛应用，其对于散斑图像冗余性的讨论也对更深入理解散斑图像所包含的信息具有一定的启发意义。

End