美国伯克利国家实验室“极简机器学习算法”可利用极少的数据分析图像

防务快讯 新增号内搜索功能

【号内搜索】→输入关键词→检索您需要的文章。

编译：中国国防科技信息中心 申淼

美国能源部劳伦斯伯克利国家实验室（以下简称“伯克利实验室”）的数学家们研发了一种用于实验性成像数据的新型机器学习方法。典型的机器学习方法通常依赖数万或数十万的图像，而这种新方法可以更快地学习且所需的图像要少得多。

▲ 小鼠淋巴细胞样的图像： a为原始数据，b是相应的手动分割，c是具有100层的MS-D网络的输出。

研究背景

随着实验设施以更高速度生成更高分辨率的图像，科学家需要费力地对结果数据进行管理与分析。赛斯安于2014年在伯克利实验室成立了综合性、跨学科的能源研究应用高等数学中心（CAMERA），旨在开发和提供利用美国能源部科学办公室用户设施的实验研究结果所需的新型基础数学方法。CAMERA是该实验室计算研究分部的一部分。

赛斯安表示，许多科学应用通常需要大量的体力劳动来注释和标记图像。对于传统的机器学习方法来说，这些手工绘制的图像远远不够。为应对这一挑战，CAMERA的数学家们用非常有限的数据解决了机器学习的问题。以“利用更少的数据做更多的事情”为出发点，研究人员计划研究如何建立一套可以大大减少参数数量的高效数学“运算符”。这些数学运算符可能自然地包含关键的约束条件，如包含对科学合理的形状和模式的要求来帮助甄别。

“混合比例密集卷积神经网络”

机器学习算法

CAMERA的丹尼尔·佩尔特和詹姆斯·赛斯安领导此项研究工作，研究出“混合比例密集卷积神经网络”（MS-D）的方法，从而彻底改变了机器学习的方法。与传统方法相比，新方法所需参数更少，聚集更快，并且能够从一个非常小的训练集中“学习”。这种新方法已经被用于从细胞图像中提取生物结构。预计该方法还将提供一个重要的新型计算工具，用于分析各种研究领域的数据。

针对成像问题，许多机器学习应用都使用深度卷积神经网络（DCNN）。在该网络中，输入图像和中间图像被卷积在大量的连续层中，使得网络可以学习高度非线性的特征。为了获得精确的图像处理结果，DCNN通常依赖于其他操作和关系，例如增加缩小和放大操作以捕获各种图像比例下的特征。为了训练更深入和更强大的网络，通常需要额外的层类型和关系。最后，DCNN通常会使用大量的中间图像和可训练参数（通常超过1亿）来解决棘手的难题。

▲左：常见DCNN体系结构的示意图； 右图：w=2和d=3的MS-D网络的示意图；彩色线代表3×3扩张卷积，每种颜色对应不同的膨胀：所有特征图用于最终输出计算。

然而，新型“混合比例密集”网络体系结构避免了这些复杂情况，并将扩张卷积作为缩放操作的替代，以捕获各种空间范围内的特征，在单一层内采用多种比例并密集连接所有中间图像。这种新算法几乎不需要中间图像和参数就能够获得精确的结果，从而不再需要调整超参数和增加图层或连接进行训练。

荷兰国家数学与计算机科学研究所计算成像组的成员佩尔特表示，能够取得这一突破性研究成果是因为认识到用于捕获各种图像比例情况下不同特征的缩小和放大操作可由数学卷积所取代，这种方法可以在单层内处理多种比例。

该算法的详细信息发表在2017年12月26日美国《国家科学院院刊》中。

研究背景

为了让广大研究人员能够使用该算法，伯克利团队建立了一个“分段标记图像数据引擎”（SlideCAM）门户网站。它是美国CAMERA工具套件的一部分。

▲使用1024个投影（a）和120个投影（b）重建的纤维增强微型复合材料的断层图像。在（c）中，显示了具有图像（b）作为输入的MS-D网络的输出。

研究生物细胞内部结构

一个有前景的应用是了解生物细胞的内部结构。研究人员利用MS-D方法，只需要7个细胞的数据就能确定细胞结构。国家X射线断层成像中心主任兼加利福尼亚大学教授卡罗琳表示，此项研究旨在了解细胞结构和形态如何影响或控制细胞行为。研究人员花费大量时间手动分割细胞，以提取结构并甄别健康与病患细胞之间的差异。他表示，MS-D方法有可能彻底改变人类对疾病的认识能力，并且它也是他们所开展的 “人类细胞图集”项目的关键工具。该项目是一个绘制并描绘健康人体中所有细胞的全球合作项目。

甄别自然图像

智能手机和传感器已产生大量图片，许多被标上了用于甄别内容的相关信息标签。利用交叉参考图像庞大的数据库、卷积神经网络和其他机器学习方法已经彻底改变了人们快速甄别自然图像的能力。

利用低分辨率输入生成高分辨率图像

经过“混合比例密集”网络处理的一小部分训练图像集使利用低分辨率输入产生高分辨率图像成为可能，例如纤维增强微型复合材料的层析重建的降噪。在论文描述的实验中，使用获得的1024个X射线投影来重建图像以获得噪声相对较低的图像，然后利用128个投影重建来获得同一对象的噪声图像。训练输入是噪声图像，在训练期间将相应的无噪声图像用作目标输出。经训练的网络能够有效地处理噪声输入数据并重建更高分辨率的图像。

其他应用

佩尔特和赛斯安正在将他们的方法应用到许多新领域，例如快速实时分析来自同步加速器光源的图像以及生物重建，例如细胞和脑映射的重建问题。

佩尔特表示，这些新方法可以使机器学习来解决更多种成像问题。通过减少所需训练图像的数量和增大可处理的图像的尺寸，新的体系结构可用于解答许多研究领域的重要问题。