SAMReg 基于多类分割的通用图像配准解决方案 ！

这篇论文描述了一种基于成对感兴趣区域（ROIs）的新空间对应表示，用于医学图像配准。讨论了所提出的基于ROIs的对应关系的独特属性，并与潜在的临床应用优势进行比较，如与基于离散位移和空间变换函数的对应关系相比。 这些优势包括基于学习的图像配准与分割之间清晰的联系，从而激励了使用（预）训练分割网络的两种植像配准方法。 基于分割任何模型（SAM），一种分割视觉基础模型，作者开发了一种新的配准算法SAMReg，它不需要任何训练（或训练数据），基于梯度的微调或 Prompt 工程。 所提出的SAMReg模型在五个真实世界应用中进行了评估，包括心脏MR和肺CT的同一主题注册任务，具有前列腺MR和视网膜成像的具有挑战性的跨主题注册场景，以及另一个非临床示例的空中图像注册的额外评估。 所提出的Methods在包括Dice和目标结构上的目标注册误差在内的测试指标上，超过了基于强度的迭代算法和DDF预测的学习型网络。 此外，它们还进一步展示了与依赖完全分割训练数据的弱监督注册方法相比具有竞争力的性能。 开源代码和示例可在本仓库中找到：https://github.com/sqhuang0103/SAMReg.git。

1 Introduction

定分和配准都是医学影像分析中的基本任务，广泛应用于临床实践。传统上，定分任务需要一个输入图像，并寻找一个或多个感兴趣区域（ROIs）。定分通常用二进制 Mask 或ROI边界表示，而配准任务需要两张图像作为输入，输出一个空间上对齐的结果。这种空间变换可以表示为密集位移场（DDF）或其他参数函数（如刚性、仿射和控制点基曲线）。

现代基于深度学习的 approaches 采用了相同的范式来学习各自的输入和输出之间的预测关系。将分割和配准视为机器学习任务，最近的研究越来越利用两者之间的相互关系。例如，使用多任务学习，分割和配准模型可以同时优化，作为两个共享权重的模型。这两个网络还可以 ConCat 。例如，一些研究使用分割的 ROIs 作为弱标签来监督或正则化配准网络训练。在深度学习被应用于分割之前，基于配准的最有效的分割方法之一是将分割 ROIs 从分割参考图像传播到图像-分割。标签传播-融合的想法又激发了一类联合学习方法，其中配准用于提供伪或中间分割标签，以监督分割网络。从上述讨论的工作可以观察到，结合分割和配准的好处，尽管它们仍然被认为是两个不同的任务，具有不同的输出、损失函数和训练策略。例如，配准通常需要空间重采样来计算无监督和/或弱监督损失（DeTone等人，2016），而分割不需要。

以往的研究认为，对于一种注册启用的应用类型，预测固定图像上的ROIs（Region of Interesting，即感兴趣区域）是基于 Token 的移动图像的目标，这样就无需估计不必要的密集对应（即ROI之外的区域）或像素级对应（Hu等人，2019年）。因此，在所提出的条件分割算法中无需进行空间重采样。作者在一篇会议论文中总结的初步结果提出了一种更通用的对应表示，完全基于ROI对，没有点对点对应或由参数函数表示的对应。在本研究中，作者的目标是进一步探索分割和注册的基础目标之间的协同作用，分别定位ROI和对应。

研究这样的分段与配准之间的联系在医学影像分析领域引发了许多有趣的讨论。首先，作者深入探讨了提出的ROI级对应表示，强调了其通用性和效率。这种新的表示适用于大多数现有配准应用，在极限情况下，相当于DDF预测算法。它在灵活性方面也表现出很高的效率，只关注和优化注册兴趣区域。此外，作者讨论了两种不同的方法来估计对应于ROI对的代表，以及它们各自的概率解释。其次，利用最近视觉基础模型的快速发展，例如用于语义分割的“任何东西”模型（SAMs），作者提出的配准算法在几乎不需要训练的情况下，具有很高的计算效率。因此，产生的算法，名为“SAMReg”，不需要昂贵的临床数据，无论是否有标签。

2 Related work

SAM-based applications other than segmentation

与传统需要大量特定训练数据的分割模型不同，Segment Anything Model (SAM) (Kirillov et al., 2023) 旨在具有很高的自然图像分割适应性，可以在最小或无需额外训练的情况下执行各种分割任务。其在各种基准测试上的最先进性能使其在医学影像（Ma et al., 2024; Cheng et al., 2023）、自动驾驶（Cheng et al., 2023）和遥感（Osco et al., 2023; Wang et al., 2024）分割等领域得到应用。除了在分割方面的作用外，SAM 还作为一种 2D 密集预测工具，为各种计算机视觉任务提供更广泛的应用。

一个显著的应用是它将2D聚类扩展到额外的维度。例如，通过引入第三个空间坐标，SAM丰富了每个2D切片的语义理解，增强了深度估计和3D重建等任务。同样，当应用于时间维度时，SAM在连续帧中捕捉感兴趣区域（ROIs）的能力与目标跟踪（Yang等人，2023年；Wang等人，2023年）的需求相吻合。另一个关键的应用在于自适应局部处理。SAM可以用于选择性地操纵图像合成中的某些目标，或者增强局部图像质量，在图像内部提供精确和上下文感知式的改进。在本论文中，SAM应用于图像配准任务，输入是两张或多张图像，输出是对应关系，而不是语义分割。

Learning-based image registration

刚性和可变形图像配准都旨在在两幅或多幅图像之间建立对应关系，以实现对齐。这些对应关系通常使用两种方法表示：参数变换或密集位移场（DDFs）（DeTone等人，2016年）。参数函数，如刚性、仿射和样条基变换（Rohr等人，2001年），描述了图像之间特定位置的映射。DDFs作为一种更一般的表示，定义了每个配对样本的变换，通常通过基于学习的配准算法（DeTone等人，2016年）进行学习。

早期基于学习的注册方法利用了监督学习，其中变形场可以通过手动或经典方法（Rohe等人，2017）获得（Balakrishnan等人，2019）。VoxelMorph是第一批引入无监督学习进行脑部MRI注册的方法之一（Hu等人，2018），而LabelReg则率先提出了弱监督学习，用于高保真度解剖标志点的对齐。后续研究扩展了这些范式，探索了多种网络架构（Krebs等人，2017）、损失函数（Chen等人，2022; Mok和Chung，2022）和包含反一致性或对称约束的变换。然而，这些基于学习的方法面临着超参数调优的挑战，需要针对每个新的正则化设置进行再训练，这限制了它们的灵活性。这一局限性导致了像UniGradICON（Tian等人，2024）这样的基础模型的出现，它使用固定的一组超参数在多个数据集上进行训练，可以处理分布内和分布外任务，而无需再训练。然而，UniGradICON需要进行大量的预训练工作，并在应用到未见过的领域时进行特定的微调。

近年来，利用大型基础模型以及开发注册特定基础模型的报道较多。大多数现有工作旨在预测由像素级位移或参数空间变换函数表示的图像间对应关系，因此需要进行空间重采样以在训练或微调过程中计算损失函数值，这与本文提出的做法有明显不同。

Our preliminary conference presentation

本文扩展了作者在MICCAI 2024年所提出的初步结果。在本文的扩展版本中，作者采用了一种新的视角来介绍表示方法，并提供了更详细的算法描述，例如从2D SAM转换到3D注册的适应细节以及伪代码，以及关于分割-注册连接的统计解释的新增讨论和推导。此外，评估已扩展到包括五个数据集，包括各种模态的数据集，如RGB、MRI和CT。所有定量和定性结果都已更新，并仅针对本研究。此外，还新增了一个讨论部分，以分享作者在设计和实验新对应表示及其应用方面的经验。

总之，作者的主要贡献如下：

1. 作者提出了一种新的对应关系表示方法，用于图像配准，该方法基于一组相应的成对ROIs（感兴趣区域）。
2. 作者提出了通用SAMReg，通过从两张图像中分别分割相应的ROIs，无需任何标签或微调。据作者所知，这是SAM在图像配准中的首次应用。代码和示例可于https://github.com/sqhuang0103/SAMReg.git处找到。

多项真实临床数据集的实验结果显示，作者的方法在广泛使用的注册工具和无监督注册算法之上，具有较强的竞争力，且与需要额外标注训练图像的弱监督注册方法相当。

3 Method

One Registration is Worth Two Segmentations

3.1.1 A brief perspective on ROI-based correspondence

对于给定的类别 ，分割任务是要在 个 Voxel 位置上估计二分类别概率向量 ，从而形成一个分割区域兴趣（ROI）。当应用于两张图像 和 时，分割器在每个图像中识别出同类别 的 ROIs 和 。这两个表示同一分割类别的 ROIs 被认为是相应的，从而在 ROIs 局部注册 和 - 局部到 ROIs。

在多类分割中，估计随机向量的联合概率，相应的分段ROI集和通过将估计的类概率向量二值化得到，其中。这种表示形式在局部和全局对应之间表现出更全面的对应关系，分别对应面积/体积较小的和较大的ROI，以及稀疏和密集对应，由这些对ROI的空间分布决定。在本节中，作者正式化这种基于ROI的对应表示，并通过估计这种对应来注册和。

3.1.2 Representing correspondence in image registration

空间对应关系被认为是从运动图像坐标系中的空间位置 到固定图像坐标系中的空间位置 的映射 。例如，在3D中，， 是包含欧几里得坐标（用于估计）的随机向量（例如，在x轴、y轴和z轴方向）。

现有表示空间对应关系的方法可以分为两大类：空间位置或成对样本的变换函数。第一类包括参数函数，如刚性、仿射和样条基变换（例如，薄板样条（Rohr等人，2001））。这些函数使用映射将输入向量转换为坐标向量：。一个具体的例子，如图1a所示，是由定义的刚性变换，其中是旋转矩阵，是平移向量。第二类涉及通过对对应位置来表示对应关系，其中。

例如，DDF（如图1b所示）可以表示为，其中是在所有 Voxel 位置上的向量集。为了估计对应于的空间位置，除了 Voxel 之外，通常使用插值（在这种情况下为双线性插值）。稀疏样本也可以使用，也称为控制点，如自由形变（Schnabel等人，2001）中的控制点，通过B样条可以插值更密集的对应关系。所谓点特征基础的配准可以考虑在此类别中，使用一组稀疏和散乱（不在规则网格上采样）的控制点（也称为点云），例如迭代最近点（ICP）（Audenaert等人，2019）和一致点漂移（CPD）（Myronenko和Song，2010）。

3.1.3 ROI pairs is a sufficient representation

定理1：在各自移动和固定图像空间（即坐标系统）中表示空间位置和，如果对感兴趣区域（ROIs）的集合足够大，那么在两个图像空间之间存在任何空间对应关系就足够了，其中和是两个表示移动和固定图像空间中相同（对应）ROIs的和空间位置集合。

这在极端情况下是直观的，即使用大量（）单体（即）ROIs，ROI对可以在个 Voxel 中以等效的DDF表示进行采样。

因此，可以理解为通过迭代以下过程，直到达到充分性：当一个点对映射未被当前ROI对表示时，作者总是可以从一个额外的ROI对中采样，该对为，这样得到的结果 ROI对足够。

3.1.4 Properties of ROI-based correspondence

作者接下来讨论所提出的基于ROI的对应关系的性质：

成对的ROIs实际上很方便，就像二进制 Mask 对一样，它们是许多计算库中广泛使用的一种数据结构。

成对的ROIs可以表示局部或全局对应关系，如果它们分别足够小或大。

成对的ROIs可以表示密集和稀疏对应关系，这取决于ROI位置的潜在可配置空间分布。

如果需要密集 Level 的对应关系，且对应关系比可用的ROIs更密集，那么在任何空间位置的对应关系都可以推理出来。作者将在第3.2.2节中讨论具体的算法。

如果不要求稠密级对应关系，在估计过程中省略平滑度正则化（例如，刚度或弯曲能量）可能会提高基于ROI表示的配准效率。

可以通过建立（例如多模态）图像之间的对应关系来实现，但只在可识别且/或可确信估算的对应区域内进行，无需在存在不确定性位置时进行插值。

对齐的ROIs相对与不同的图像分辨率变化较小。

重叠的区域有助于实现一对一的对应关系。

成对的ROIs有可能直接表示对应关系中的不确定性，可以通过在两张图像中使用重叠的ROIs，或者不使用任何ROIs来实现。

3.1.5 The perceived need for pixel-level correspondence

在本节中，作者挑战了对基于像素级密集对应关系或空间普遍性的参数化对应关系的必要性，尽管提出的基于ROI（Region of Interest，感兴趣区域）表示方法能够实现这一目标，但通常并不强求。

在前述工作中（黄等，2024a），许多临床应用都关注于一个或多个局部区域的注册，例如，在手术干预前和期间肿瘤的位置，以及在不同受试者之间相同的解剖结构。

在全局变换或规范化局部变换中，临床感兴趣区域的对齐质量不应与可能包含更显著对应特征的其他位置进行权衡，这些位置可能或可能不包含更易于对齐的特征。在这些应用中，像素级或空间上连续定义的对应关系是所采用表示的副产品，而不是需求。

此外，强制执行这种密集对应关系可能会对通过下游任务测量的注册性能产生负面影响。这可能部分解释了作者实验中观察到的优势，这些优势将在第6节中进一步讨论。

对于确实需要更密集对应关系的应用，如图像变形和用于可视化目的，在3.2.2节中提出了通用算法，将基于ROI的对应关系转换为DDFs。

3.1.6 Probabilistic ROI-pair-predicting image registration

在本节中，作者考虑了两种情况来搜索相应的ROI对 ，以及它们与两个独立多类分割 和 的概率联系。

Case 1: Segmenting the Same ROIs from Two Images

在这种情况下，分割算法（例如，一个或两个神经网络）能够在图像和中的相同类别的ROIs进行分割。遵循第3.1.1节中的记号，将ROI对转换为估计给定两个图像的联合概率，其中

这一方法通常需要预定义的感兴趣区域（ROI）类型和针对ROI标注数据集进行训练的分割网络。值得注意的是，这些分割训练数据集正是用于训练弱监督变换算法（Hu等人，2018年，2019年）所需的数据集。

Case 2: Matching the Segmented ROI Candidates

假设可以使用一种替代的"无监督"分割方法来获得两个独立的候选ROI集。

具体而言，对于图像，一个表示类概率的随机向量被估计出来，通过阈值分割估计的类概率向量得到分割的ROI集，其中。对于图像，通过估计类概率，得到ROI集，其中是类的概率。为了识别相应的ROI对，作者搜索具有共同ROI类的子集，该子集对应于两个条件独立"候选概率"之间的联合概率，即

在接下来的第3.2节中，作者提出了一种具体的算法，该算法采用这种策略。

Segment Everything and Match: A Training-Free Registration Algorithm

3.2.1 Revisiting SAM

SAM（Kirillov等人，2023年）已成为计算机视觉领域的重要里程碑，将大型语言模型的能力扩展到视觉分析。SAM的结构将图像编码器、 Prompt 编码器和 Mask 解码器相结合，使其在没有特定任务训练的情况下，能够进行图像分割，从而催生出多个增强版本（Chen等人，2023年；Ke等人，2024年）。

在最近的发展中，SAM通过在广泛的医学数据集上进行训练，使其适用于医学影像应用，从而成为基础模型。通过在特定医学数据集上进行微调，并结合额外的适应层，进一步的改进已经实现。然而，正如各种研究行人所指出的，SAM在医学影像上的性能与自然图像相比表现出不同的敏感性，这导致在没有额外训练的情况下，直接分割特定解剖结构和病理学的不一致结果。

有趣的是，可以争论说已知在分割中具有解剖学意义的特征可能并不需要用于医学图像配准。尽管医学图像之间的对应关系在某种程度上可能与应用有关（Crum等人，2003年），但主要目标是识别图像中的相似区域，这些区域不一定明确定义或甚至已知解剖学或病理学定义。

这一目标可以通过SAM更通用的特征提取和像素分类能力实现，与仅针对配准任务特定的模型相比。

例如，SAM可以有效地分割具有独特边界的ROI，如结构之间的髂内和共腔，虽然这些区域并非典型目标，但对于建立局部对应关系是宝贵的。

通过利用SAM来划分广阔的前景区域，作者的目标是识别涵盖各种成像结构和区域以及没有精确临床意义的对应ROI。

3.2.2 The SAMReg algorithm

由于SAM分割生成的多个ROIs缺乏明确的'一对一'对应关系，作者的策略是在特征空间中匹配它们之前将这些ROIs进行嵌入，具体流程如图2所示。

ROI Embedding

利用SAM中的图像编码器，作者将2D输入图像嵌入到特征中：

通过将SAM解码器设置为 everything 模式，并使用一个简单的异常值移除滤波器（有关详细信息请参阅第4节），作者利用其通用性为每个图像生成一系列分割 Mask ，得到 Mask 集，表示ROIs：

对于2D配准任务，成对的2D图像和分别产生相应的 Mask 集和。

对于3D配准任务，如算法1中所述，成对的3D图像和，每个大小为，被处理为一系列2D切片和。

在中的每个分割ROI 对应于可能位于任何切片中的ROI 。为了优化计算，作者经验性地将焦点限制在一个切片范围，依次处理以生成全面集，然后与进行匹配。

对于每个二进制 Mask ，作者通过逐元素与相应特征图相乘来推导出平移原型，其中元素索引为：

其中， 表示将 调整为 的尺寸，即 。这也适用于固定原型集合 。

ROI匹配假设一个相似度矩阵 ，用于衡量移动原型和固定原型的余弦相似度：

其中， 是对每个元素 进行归一化处理，，。

然后可以识别出一组索引对 ：

与最大相似度的配对相对应。另外，为了确保在从SAM中过滤重叠的ROI时，每个和最多只选择一次，添加了一个额外的约束条件。是相似度阈值，而集合长度为。

利用选择的索引对 ，作者构建了两个新的 Mask 集，分别是：

如果不严格必要实现一对一的映射对应关系，每个可以重复选择。的值基于阈值确定。

进一步，如在3.1.6节中讨论的，作者探讨将估计的ROI（感兴趣区域）对应关系转换为其稠密对应关系DDF的能力，这对于全图像对齐等应用非常有用。

在本节中，作者描述了一种通用的方法，该方法迭代地优化DDF，以优化一个结合了特定区域对齐度量和正则化项的目标函数，以确保平滑插值：

在这里，作者使用等权重均方误差（MSE）和Dice作为ROI的损失函数（），以及DDF梯度的L2范数作为DDDF的损失函数（）。

其中，代表转换函数的参数，是一个正则化参数，它平衡了对齐准确性和变形平滑性。

4 Experiments

Datasets

作者在五个医学和非医学数据集上评估了作者的方法：前列腺，心脏（Bernard等人，2018年），肺部（Hering等人，2020年），视网膜和空中（Michele和Vittorio，2022年）。前三个数据集是三维的，包含MR和CT成像模式，而后两个是二维的。

前列腺：包括来自伦敦大学学院医院多个临床试验的878张T2加权MRI图像，包括SmartTarget，PICTURE，ProRAFT，Index 和PROMIS。本研究中使用的一部分数据是公开的。

心脏：包括在迪戎大学医院获得的150次检查，并用于自动心脏诊断挑战（ACDC挑战赛）。每次临床检查都包含来自不同帧的配对MR心脏图像。

CT-Lung：包含Learn2Reg 2021挑战赛的20对FBCT图像（Hering et al., 2020），该数据集提供了捕捉呼气和吸气状态的图像。

视网膜：包含134对视网膜图像对，来源于视网膜图像配准数据集（FIRE）（Hernandez-Matas等人，2017年），在塞萨洛尼基的帕帕盖奥鲁医院（Papageorgiou Hospital）从39名患者处采集。

2D-Aerial：包括Michele和Vittorio（2022）所获取的1734对Zurich市由QuickBird获取的图像。图像边长范围为622至1830 x。

此外，为确保与其他有监督的配准方法进行公平比较，80%的图像用于训练目的。

作者的方法并未使用这个子集进行训练，而是在剩余数据上与其他方法一起进行测试。在进行 ablation 实验时，所提出的算法使用所有可用图像进行测试。

Implementation Details

对于非刚性配准，作者通过关键解剖结构（Hu等人，2018）的平均变换精度来评估准确性，其中TRE从相关ROI的中心点计算得出。

在配置SAM参数时，除了标准设置外，作者还调整了预测IoU阈值和稳定性分数阈值至0.90。

作者的ROI过滤策略基于面积和重叠比例，将ROI大小设置最小值为200，最大值为7000，最大重叠比为0.8。相似度阈值设置为0.8。作者的网络使用PyTorch和MONAI 实现。

5 Results

Comparison with SOTA Registration Methods

在作者全面的评估（表1中）中，作者将提出的SAMReg与非学习方法和基于学习的方法的医学图像配准技术进行了比较，这些技术在2D和3D数据集上都有应用。SAMReg与非学习迭代算法的稳定注册工具NiftyReg（Modat等人，2014年）进行了公平比较，没有使用任何训练数据。

它还与包括 VoxelMorph 和 LabelReg 在内的自适应方法进行了比较，尽管这些方法需要训练数据。VoxelMorph和LabelReg分别针对特定数据集进行了微调，分别采用无监督学习和弱监督学习，其中LabelReg还依赖于解剖学标注。SAMReg实现了竞争性能，特别是在同一主体的心脏和肺注册中。尽管在跨主体前列腺注册中的Dice分数可能略低于基于学习的方法，但SAMReg的竞争TRE表明应重点关注实现高局部对齐精度。这可能是因为前列腺腺体与心脏或肺等器官相比具有固有的更大解剖变异。

值得注意的是，SAMReg在没有特定数据集训练的情况下取得了成功，这强调了其在不同医学成像领域的泛化能力。这转化为在临床部署过程中的简化，使SAMReg成为实际场景中的注册任务的一个有说服力的选择。

此外，SAMReg在非医学图像注册任务上表现出色，如航空图像数据集，这表明SAMReg能够捕捉显著的图像特征并建立相对独立于特定领域的对应关系，可能提供更广泛的适用性，在计算机视觉任务上更强大，对医学成像领域的数据差异更具鲁棒性。

如图3和图4所示，分别展示了2D和3D配准结果的定性比较。这些图说明了SAMReg在配准过程中改变解剖结构的能力。与其他配准方法相比，从多个ROI对导出的DDF能够准确地变形移动标签，使其紧密匹配固定标签，即使该ROI未被SAMReg看到。

Comparison of SOTA ROI Segmentation Algorithms

SAMReg的性能可以通过直接集成先进的分割算法得到进一步提升。这可以实现两种方式：

1）针对特定数据集和任务的集成 - 对于特定领域和任务，SAMReg可以与针对该领域优化的其他预训练分割模型高效结合。

2）通用集成 - 对于更广泛的适用性，SAMReg可以与基于SAM的分割相结合，提供一种通用的解决方案，适用于各种注册任务。

5.2.1 Impact of Dataset-Specific SOTA Segmentation Models

表2和图5比较了使用SAM（Kirillov等人，2023）进行ROI分割和后续的注册对齐性能，与特定数据集中的领先分割模型（Milletari等人，2016; Tragakis等人，2023; Roy等人，2023）进行比较。尽管基准模型受益于特定设计和在真实标注（ Token ROI）上进行训练，但基于SAM的SAMReg在注册任务中表现出鲁棒性和有效性。值得注意的是，当使用SAM生成的伪ROI（伪ROI）而不是真实数据时，SAM实现了竞争力，甚至超过了这些模型。此外，SAM广泛的ROI检测能力明显提高了图像分析和增强了整体注册精度。特别是在处理以前未见过的ROI时，突显了基于SAM的SAMReg在处理预定义和未知ROI方面的有趣优势。

5.2.2 Impact of SAM-Based SOTA Segmentation Models

表1比较了SAMReg在医学和通用注册任务上的性能与SAM（Kirillov等人，2023年）及其变体。具体来说，MedSAM（Ma等人，2024年）和SAMed2D（Cheng等人，2023年）在大规模医学数据集上进行了优化，以进行医学基础分割，而SAMSlim（Chen等人，2023年）和SAM_HQ（Ke等人，2024年）则针对提高通用分割性能进行了修改。这些SAM变体在所有五个数据集上的分割和配对ROIs的示例如图6所示。

结果表明，医学SAM变体在解剖结构分割方面的准确度比通用SAM变体更高，从而导致更好的对齐性能。相反，通用SAM变体在非医学注册任务（即空域数据集）方面超过了医学SAM变体。有趣的是，基本SAM在所有任务上都取得了竞争性的结果，这可能是因为它生成的配对ROIs如图6所示。

Ablative Study on ROI Selecting Strategies

在本节中，作者对ROI选择策略进行删去研究，定义了对应关系以及后续生成的DFFs，测试了在相似性或数量上的不同阈值，如3.2.2节所述。

5.3.1 Impact of Quantity Threshold

论文：选择ROI对数对注册性能的影响评估。表4显示了在自体（心）和跨自体（前列腺）数据集上不同数量ROI对的心脏（cardiac）和前列腺（prostate）的Dice和TRE得分。结果表明，使用最多五个ROI对在前列腺数据集上实现了最佳的注册性能，而在心数据集上实现了三次最佳性能，这说明相对较少的精心选择的ROIs可以实现最佳注册。如图6(a)所示，额外的配对ROIs可以提高整个图像的对齐，但会引入由于分割模型限制产生的内在噪声。

5.3.2 Impact of Similarity Threshold

作者进一步研究了相似度阈值对ROI选择的影响。表3展示了不同相似度阈值下，对于同一主体（心脏）和不同主体（前列腺）数据集的Dice和TRE分数。结果表明，0.8的相似度阈值导致整体注册性能最佳，说明源图像和目标图像之间具有中等相似度（0.8）的ROI对注册有益。

较高的阈值（0.8）将减少选择的ROI数量，可能导致精确注册所需的对应信息不足，从而体现在较高的TRE分数上。相反，较低的阈值可能包括太多具有潜在无关相似度的ROI，如图6（b）所示，这会阻碍注册性能。这些发现强调了在选择配对ROI的相似度和质量阈值之间达到平衡的重要性，以实现最佳注册结果。

5.4.1 Comparison Between 'One-to-One' and 'One-to-Many' Correspondence

图8说明了ROI对齐中'一对一'对应关系的预期和意外情况。在预期情况下（左侧），多个对应于一个完整解剖结构的子结构对ROI对齐做出贡献。意外情况（右侧）显示不匹配的子结构，可能导致潜在的不准确对齐。表6展示了'一对一'对应关系与'一对一'匹配在内外部注册任务中的性能对比。

对于内部注册任务，当图像特征高度相似时，'一对一'匹配的性能比标准'一对一'匹配方法差，然而，对于外部注册任务，当图像特征存在显著差距时，'一对一'对应关系与'一对一'匹配的性能具有竞争力。这可能是由于多个对应子结构的存在可以帮助弥合不同主题之间的图像特征差距，从而实现更准确的对齐。

5.4.2 Effect of Slice Range

表6展示了对应ROI（感兴趣区域）搜索范围（切片数）的绝对研究。搜索范围较大，即切片数较多，会导致更好的配准性能。

通过观察这些ROI中突出显示的解剖结构范围，如图8所示，作者可以了解搜索范围如何影响配准过程。

6 Discussion

作为专业的AI学术论文翻译助手，您的任务是将我提供的英文AI学术论文翻译成准确、流畅的简体中文。确保翻译后的内容忠实于原文，同时保持学术论文的专业性和格式。请不要输出原文内容，仅提供翻译后的结果。

在SAMReg的ROI匹配机制中，ROI对按照相似度进行排序，相似度最高的对排在最前面。增加更多的对会降低平均相似度，引入噪声和潜在的错配。相反，更严格的阈值会减少对的个数，限制ROI密集插值带来的好处。未来的工作应该探索能够根据图像相似度或分割信心动态调整的阈值策略，以优化对的数量，同时保持高质量的对应关系。

在这项研究中，一对一对一的对应关系将一个图像中的每个ROI与另一个图像中的唯一ROI进行匹配，而一对多对应关系则允许一个图像中的多个ROI对应于另一个图像中的单个ROI。

需要考虑两种关键场景中的“一对多”对应关系：

1）分割不确定性：分割模型并非完美。它们可能在同一张图像中分割多个子结构，而在另一张图像中识别出一个完整的结构ROI。通过允许多个子结构对应一个完整的结构，'一对多'对应关系可以弥合这一差距。

2）2D ROIs对应3D结构：使用2D ROIs表示3D结构存在固有限制。例如，一个腺体可能在一种图像中用20个2D切片表示，而在另一种图像中用40个切片表示。这种差异需要'一对多'对应关系来处理多对一对应的情况。

有趣的是，如表6所示，在图像高度相似的内置主题注册任务中，一对一方法和一对多方法的表现相当。然而，对于具有更大解剖变异性的跨主题注册任务，一对一方法表现更好。这一观察可以归因于注册任务的固有特性。在内置主题注册中，对应ROI之间的极高配对相似性减小了所选对应策略的影响。

由于结构之间存在强烈的固有对应关系，两种方法都实现了可比的ROI对。相反，跨主题变异性能从一对一的排除机制中受益，减少了错误的配对，并提高了对齐的准确性。

因此，未来的研究应主要集中在两个领域：优化ROI表示以增强相似度度量，并探索一种混合方法，该方法根据诸如图像相似度或分割置信度等因素动态调整不确定性。

7 Conclusion

在本研究中，作者提出了一种新颖的ROI（Region of Interesting）基于对应表示。

利用这种表示，图像配准可以被重新表述为两个多类分割任务，并提出了一个通用且实用的实现方案，即SAMReg。

作者的广泛实验表明，SAMReg在图像配准方面具有竞争力的性能，使其成为一个强大且多功能的工具。

这些有前途的结果表明，这种新方法可能为图像配准研究开辟一个新的研究方向。

参考文献

[0]. SAMReg: SAM-enabled Image Registration with ROI-based Correspondence.