深度重建：基于深度学习的图像重建

深度重建

本期他将带我们学习他的最新的利用深度学习进行CT重建的IEEE TMI论文，背后的思想同样适合于其它计算成像领域。

深度学习是机器学习的一个分支，概念由Hiton等人在2006年提出，来源于1943年提出的人工神经网络的概念。

自2006年之后，深度学习受到科研机构、工业界的高度关注。 深度学习的核心是特征学习，通过分层网络获取分层次的特征信息，来解决以往需要人工设计特征提取算子的重要难题。

深度学习框架包括多个重要网络结构，主要有卷积神经网络 (Convolutional Neural Networks, CNN)，自编码器(Auto Encoder)，限制波尔兹曼机 (Restricted Boltzmann Machine, DBM)，深信度网络 (Deep Belief Networks, DBM)，递归神经网络(Recurrent neural Network, RNN)等。

就大脑视觉来说，大脑的可视皮层是分级的。如图1，人眼观测到图像，会先提取一些边缘特征，接着会将这些边缘组合成局部特征，到大脑的最上层，会将这些局部特征整合为总体特征，从而使人类能够准确地区分不同物体。

图1.：大脑视觉处理过程

CNN网络正是借鉴了人类处理信息的过程，通过多层卷积网络来提取图像特征。

在浅层网络，卷积核只能提取一些浅层的边缘特征，随着网络层数加深，这些边缘特征将会被慢慢组合成高层特征，可以很好地被用来进行识别工作。

CNN不仅可以实现局部感受野，模仿人类对信息接收和处理的模式，并且减少了参数数量，降低了网络的复杂度，因此被广泛用于图像问题中。

深度重建（DeepRecon）

在基于深度学习的CT图像重建问题中，已经有若干个工作被刊载。

下面将主要介绍两个我们课题组关于深度重建的论文。他们分别是将深度学习用于低剂量CT图像去噪的后处理方法以及将稀疏角CT迭代重建进行网络展开的方法。

第一种架构： RED-CNN

自编码器

自编码器 (Auto-Encoder, AE)是深度学习框架的一类，用于学习图像的压缩特征，使得输出等于输入。它由两部分组成，分别是编码器(Encoder)和解码器(Decoder)。我们的第一个工作就是将自编码器和残差(Residual)卷积网络结合起来，用来处理低剂量CT图像。

架构和原理

图2是我们的网络模型，我们称作Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)。

该网络是端到端的网络，输入为低剂量CT图像，相对应的标签是正常剂量CT图像。

该网络总共由10层组成，其中前五层为编码层，每一层都由卷积层和ReLU层构成，后五层为解码层，每一层由反卷积层和ReLU层构成，为了避免细节的丢失，我们没有加入池化层。

在10层网络中，我们加入了3个跳跃连接，这样整个网络就类似残差网络的结构，这样可以避免梯度消失或梯度爆炸等问题，使得训练过程变得更加稳定。可以注意到，在3个跳跃连接中，我们先将学习到的残差和跳跃单元求和，再通过ReLU层，这样取消了残差的非负约束，使得恢复的图像更加精确。

图2.：RED-CNN架构

效果

在论文中我们做了大量的对比实验，这里只显示一组胸腔数据的重建结果，如图3可以看到，相对于正常剂量的CT图像，低剂量CT图像中有大量的噪声，所有方法都能够有效去除低剂量CT图像中的噪声。

蓝色箭头标记的是一些血管的细节，RED-CNN获得的图像很好地将这些细节修复了，而其他方法重建得到的图像在该处的细节都被或多多或少有所丢失。

而在红色箭头标记的地方，对比方法KAIST-Net获得的结果出现了一些伪结构，是正常剂量图像中所没有的。

图3.：效果比对

第二种架构：LEARN

idea

相比后处理的方法，迭代重建方法因为在迭代过程中会用到真实的投影数据，因此重建结果在理论上将会更精确。因此我们的另一个工作是将深度学习和迭代重建方法结合起来。

在传统的稀疏CT重建中，由于问题的病态特性，需要人为的引入正则项。为了构造好的正则项，往往需要特征工程和先验知识。同时，这类方法需要人为设置正则项的权重参数，而不同图像的参数可能不同，使得这类方法的普适性不是很强。

我们的idea是用神经网络来同时学习这些正则项和参数，通过训练，根据数据得到正则项和参数。我们固定迭代次数，然后将在每一次迭代进行网络展开，可以得到图4所示的LEARN(Learned Experts’ Assessment-BasedReconstruction Network)网络框架。

图4.：LEARN 架构

效果

我们使用了来自Mayo Dataset 10个病人的数据，每个病人25张图像，共250张图像。其中8个病人的数据作训练集，2个病人的数据作测试集。

训练过程中，迭代Block设置为50个，每个Block里面包含一个三层CNN，共计150层网络。卷积核的尺寸设置为5*5，前两层网络的卷积核数量为48个，第三层网络的卷积核数量为1个。训练使用的损失函数为MSE，使用Adam算法进行优化。

为了对比网络性能，选用ASD-POCS，Dual Dictionary learning (Dual-DL)，Total Generalized Variation based Penalized Weighted Lease-Squares (PWLS-TGV)，Gamma Regularization以及FBPConvNet作为对比方法。前4种方法为迭代重建方法，FBPConvNet为基于后处理的深度学习方法。

图5显示了一组腹腔数据重建结果的局部放大，其中 (a) 是正常剂量的CT图像。(b) 时FBP算法得到的结果，(c) - (g) 依次是5个对比方法得到的图像，(h) 是LEARN所重建的结果。

图中红色箭头标记的区域为增强后的血管，蓝色箭头指向一个疑似病灶。我们可以看到，LEARN方法所得到的结果相对于其他方法，结构更加清晰。

图5.：LEARN的效果比对

总结

本文主要介绍了我们课题组的深度重建工作。从结果可以看出，基于深度学习的CT图像重建方法在图像质量上要优于传统的重建算法。因此，在未来，深度学习和医学图像重建的联系将会越来越紧密。

在今后的工作中，我们也会致力于推进深度学习和CT图像领域的结合，引入深度学习发展的最新技术，将基于深度学习的方法引入临床应用上，并且尝试解决其他的医学图像问题，加快医学图像领域的发展进程。

[参考文献]

[1] Hu Chen, Yi Zhang*, Mannudeep K. Kalra, Feng Lin, Yang Chen, Peixi Liao, Jiliu Zhou, andGe Wang. Low-dose CT with a residual encoder-decoder convolutional neuralnetwork. IEEE Transactions on Medical Imaging, pp. 2524-2535, vol. 36,no. 12, 2017.

[2] Hu Chen, Yi Zhang*, Yunjin Chen, Junfeng Chen, Weihua Zhang, Huaiqiang Sun, Yang Lv, PeixiLiao, Jiliu Zhou, and Ge Wang. LEARN: Learned experts’ assessment-based reconstructionnetwork for sparse-data CT. IEEE Transactions on Medical Imaging,pp. 1333-1347, vol. 37, no. 6, 2018.