论文《医学图像分割综述：U-Net的成功》解读之六：概率设计

论文：Medical Image SegmentationReview: The Success of U-Net解读之六

概率设计(Probabilistic Design)

01 介绍

医学图像分割的另一种类型的U-Net扩展将经典U-Net与不同类型的概率扩展(Probabilistic Extensions)相结合。根据需要完成的任务或需要增强的过程，可以使用不同类型的扩展，从贝叶斯跳跃连接，到变分自编码器到马尔可夫随机场，这些扩展将在下面介绍。

02 详细应用

1.1 变分自编码器（VAE）正则化

在医学图像分割任务中，不同的分级器往往会产生不同的分割结果。大多数这些不同的分割是合理的，因为许多医学图像包含歧义，不能仅考虑解决手头的图像。考虑到这一点，Kohl等人从一个模糊的输入中学习分段分布，以产生无限数量的可能的分段，而不仅仅是提供最可能的假设[54]。在他们的方法中，他们将用于产生可靠分割的U-Net与条件变分自编码器(CVAE)相结合，后者可以对复杂分布进行建模，并在低维潜在空间中对分割变量进行编码。以6维的潜在空间效果最好。

图1 (a)用概率U-Net进行M段采样过程的说明。(b)说明一个训练样本的概率U-Net的训练过程。绿色箭头表示损失函数。图来自论文[182]。

图1(a)显示了给定训练好的先验网络和U-Net以及低维潜在空间的采样过程。潜在空间中的每个位置编码不同的分割变体。通过先验网络传递输入图像，它将确定给定输入图像的编码变体的概率。对于每一个可能被预测的分割，网络被应用于相同的输入图像。从先验概率分布中抽取一个随机样本，并广播到与分割图形状相同的N通道特征图中。然后将其与U-Net的最终特征图连接，并进行连续的1 × 1卷积处理，以产生与从潜在空间绘制的点对应的分割图。每次迭代只需要重新计算组合，因为U-Net的最后一个特征映射和先前网络的输出可以对每个假设重复使用。图1 (b)显示了概率U-Net的训练过程。

除了条件VAE和确定性分割模型的标准训练程序外，还必须学习如何以有用的方式将分割变量嵌入到潜在空间中。这是由后网解决的。它学习识别分割变量并将其映射到潜在空间中的某个位置。其输出后验分布的样本与U-Net的激活图相结合，必须得到与地面真值分割相同的分割结果。由此可见，训练数据集必须包含一组不同但可信的对每个输入图像的分割。

Myronenko[53]将VAE分支添加到3D U-Net架构中，以解决脑肿瘤分割训练数据有限的问题。在他们的架构中，U-Net用于肿瘤的分割，VAE用于共享同一编码器的图像的重建。对于VAE，编码器的输出被降低到一个较低维空间，并从高斯分布中提取一个样本，具有给定的平均值和标准导数(std)。然后使用类似于U-Net解码器的架构将样本重构为输入图像，但没有任何跳跃连接。

1.2图模型算法

虽然经典的U-Net在与训练数据相同分布的数据上表现良好，但在非分布数据上其准确性会下降。为了解决这个问题，Brudfors等人[51]将U-Net与马尔可夫随机场(MRFs)结合起来，形成MRF-Unet。低参数的一阶MRF具有更好的泛化能力，因为它们编码了更简单的分布，这是拟合分布数据的重要品质。U-Net非常准确的预测并弥补了MRF不太灵活的事实。所建议模型的体系结构如图2所示。由于U-Net和MRF分布的结合难以处理，需要计算两者的乘积，因此采用迭代平均场方法来估计Kullback-Leibler散度下最接近的分解分布。Brudfors等人[51]的工作中可以找到该过程的详细数学推导。实验表明，MRF和U-Net的结合提高了对分布内外数据的处理性能。轻量级MRF组件不向体系结构中添加任何额外的参数，它作为一个简单的先验，因此可以学习抽象的特定于标签的特性。

图2 MRF-UNet结构示意图。图来自论文[183]。

Klug等人[52]在注意力门控的3D U-Net中使用贝叶斯跳过连接，允许预先绕过大部分网络，并在灌注CT图像的最后一层重新整合，以分割脑卒中病变。跳跃式连接提供了最终网络层之前的连接，并且应该减少不同形状的小而不完整的分段的误报率。作为先验，使用标准阈值法对缺血核进行分割。Klug等人[52]评估了将U-Net的先验和输出结合起来计算最终输出分割的两种方法:两个映射的加法和卷积。在所有实验中，使用卷积进行组合均取得了较好的结果。

U-Net的输入是三维灌注(Perfusion)CT图像与先验图像的拼接。将三维注意力门U-Net与相同架构的贝叶斯跳跃连接进行比较，并在网络末端重新整合先验，后者在dice得分方面具有更好的性能，收敛速度更快。值得一提的是，作者发现有大量论文将概率设计集成到U-Net中，用于脑肿瘤[184]和皮肤病变分割[185]等应用。

版权说明

本文中的内容全部来自论文《Medical Image SegmentationReview: The Success of U-Net》，分享文章的目的是为了让更多刚入门的同学能够快速了解最前沿的科研动态，进而筛选出对自己有帮助的文献，助力科研。如有侵权，请联系本公众号立即删除。