SEEM 让你释放双手 | 对 SAM 进行升级，解决数据标注耗时耗力且繁琐的问题！

AIGC 先锋科技

发布于 2024-07-08 05:01:41

3070

现有的群体计数模型需要大量的训练数据，而这些数据的标注过程耗时且繁琐。为了解决这个问题，作者提出了一种简单而有效的人群计数方法，通过采用一种名为“Segment-Everything-Everywhere Model（SEEM）”的模型——这是对“Segmentation Anything Model（SAM）”的一种改进，来为训练人群计数模型生成伪标签。然而，作者的初步调查发现，SEEM在密集人群场景中的性能有限，这主要是因为在行人高密度区域遗漏了许多人。为了克服这一限制，作者提出了一个自适应分辨率的SEEM来处理人群场景中的尺度变化、遮挡和行人重叠问题。同时，作者基于高斯混合模型引入了一种鲁棒的位置定位方法，用于预测预测行人 Mask 中的 Head 位置。在给定了 Mask 和点伪标签的情况下，作者提出了一种鲁棒损失函数，该函数旨在根据SEEM的预测排除不确定区域，从而增强计数网络的训练过程。最后，作者提出了一种迭代生成伪标签的方法。这种方法旨在通过识别高密度区域中更多微小的行人来提高分割 Mask 的质量，这些行人在第一次伪标签阶段经常被遗漏。总的来说，作者提出的方法在无需监督的人群计数中实现了最佳性能，同时与一些经典的完全监督方法相比也毫不逊色。这使得它成为一种非常高效且多功能的群体计数工具，特别是在没有标签数据可用的情况下。

1 Introduction

人群计数在各个应用领域中扮演着至关重要的角色，从城市规划、公共安全到活动管理和零售[5]。它有助于设计高效的公共空间，优化活动期间的人群控制，以及管理商店内的顾客流量。此外，它还助于创建能够适应人口密度变化的响应式基础设施。这项技术在理解和管理不同情境下的人群动态方面至关重要。

先进的群体计数系统，采用如卷积神经网络（CNNs）[24]和Transformers[21]的深度学习方法，取得了卓越的成就。

性能。然而，这些方法通常需要大量的标注数据用于训练。人群计数数据集的规模相对较小，因为对密集人群图像中的每个人进行标注是一项耗时的工作。因此，对于能够在不依赖手动标注的情况下适应新数据集的无监督方法的需求日益增长。

为了应对这一挑战，作者引入了一种健壮的无监督方法，该方法利用分割任何模型（SAM）[16]生成伪标签。然而，SAM无法预测语义标签。因此，作者采用了分割一切无处不在模型（SEEM）[48]来预测行人 Mask 。作者的研究发现，直接使用SEEM并不有效，因为它经常由于遮挡和重叠而遗漏行人（见图1中的1024x1024图像），这是由于在其训练数据中密集人群图像的有限可用性所致。为了解决这个问题，作者提出了一个自适应分辨率的SEEM（AdaSEEM），根据需要可以放大高密度区域。如图1所示，这种改进使得可以在拥挤区域对较小的人进行更精确的分割。此外，作者还提出了一种健壮的 Head 定位方法，通过将 Mask 分布建模为高斯混合模型（GMM），准确估计 Head 位置，这使得可以生成更有效的点伪标签。

作者使用生成的 Mask 和点伪标签来训练一个计数回归网络。为了有效地利用这两种类型的伪标签，作者提出了一个由两部分组成的鲁棒损失函数：个体损失和背景损失，在训练过程中排除了不确定区域。个体损失确保了 Mask 内的总密度接近1，并且它还鼓励密度在 Head 伪标签周围收敛。这种方法提高了人群计数的准确性，同时也确保了在分割区域内的精确定位。相比之下，背景损失则是为了预测所有背景区域为零值，从而有效地减少非拥挤区域的假阳性预测。

最后，为了提升性能，作者采用了一种迭代的方法来生成伪 Mask ，使用训练有素的计数网络得到的点预测作为AdaSEEM的提示。这有助于在高密度区域识别缺失的个体。一旦创建这些新的 Mask ，它们将与前一阶段的 Mask 融合，以生成更全面、更准确的伪标签集。随后，作者采用相同的方法在这些更新后的 Mask 内估计 Head 点伪标签。有了这些精细化的 Mask 和 Head 位置，作者继续训练计数网络，从而在人口密集的场景中提高它们的准确性和可靠性。

总之，本文有四个主要贡献：

作者提出了一种新颖的方法，用于为无监督人群计数生成 Mask 和点伪标签。这涉及到使用分割任何事物模型（SAM），并通过自适应分辨率策略以及一种稳健的定位 Head 点机制来进行增强。

为了利用 Mask 和点伪标签，作者开发了一个健壮的损失函数，在训练过程中策略性地排除不确定区域，并确保每个 Mask 内的密度为1。这个函数在准确计数和定位拥挤场景中的个体方面起着至关重要的作用。

作者提出了一种用于生成伪 Mask 的迭代方法。该方法通过利用来自当前训练计数网络的点提示来细化 Mask 预测，从而允许识别之前在密集区域中遗漏的个体。

作者的方法显著优于现有的无监督人群计数方法，取得了很大的改进。其性能在一些经典的全监督方法面前也颇具竞争力，即便是在大规模数据集上也是如此。

2 Related Works

在本节中，作者简要回顾有监督、半监督和无监督的人群计数算法。

Supervised Methods

传统的人群计数算法依赖于个体检测[7]，这并不适用于高密度图像，因为遮挡问题。为了提高计数性能，已经提出了直接回归方法，这些方法利用低级特征[5]，包括纹理[4]和颜色[12]。然而，这些方法的有效性仍然受到尺度变化和场景变化等因素的限制。

近期的人群计数研究主要集中在深度学习上，通过大量标注数据的训练，取得了显著的改进[47]。网络结构[1, 8]的创新和各种损失函数[40]的发展提高了性能和鲁棒性。Kang和Chan[15]引入了图像金字塔的使用来处理尺度变化。进一步的增强包括利用上下文信息[31, 44]和发展跨场景的人群计数方法以提高泛化能力[46]。Wang等人[41]提出了使用合成数据集，而其他研究者探索了使用相关性信息来增强泛化能力[36, 43]。在损失函数设计方面的创新方法，例如提出可学习的密度图以增强监督[34, 37]。在训练过程中直接使用点标注已显示出计数和定位的改进[23, 26, 33, 40]，并发展了稳健的损失函数来处理标注噪声[35, 39]。最近，基于Transformer的方法在人群计数和定位方面均显示出卓越的性能[19, 21]。

然而，监督学习方法需要大量的标注图像，由于标注过程耗时，这些图像可能难以获取，例如，一些训练图像可能包含数百甚至数千人。相比之下，作者提出的不监督学习方法在不使用任何标注人群图像的情况下，获得了与某些监督学习方法相当的结果。

Semi-Supervised And Unsupervised Methods

为了减轻大规模标注工作的负担，在人群计数领域已经提出了几种创新的方法[42]。Change Loy等人[6]建议使用未标注的视频，从而减少对完全标记数据集的依赖。Meng等人[27]引入了一种方法来模拟空间不确定性，提高了半监督计数的有效性。部分标注训练模型的概念也已被探索[45]，为完全监督方法提供了一种实用的替代方案。此外，在[17]中提出了一种监督不确定性估计策略，为解决标注挑战提供了新的方法。另外，最优传输最小化[22]的使用也被 Proposal 用于半监督设置中的人群定位，进一步促进了人群计数领域中更高效、劳动强度更低的方法的发展。

对无监督人群计数方法的研究，特别是在高密度场景下的探索仍然有限。大多数现有研究倾向于集中在低密度图像上。[2]中提出了一种基于分布匹配的新型自监督方法。此外，[20]通过采用视觉-语言模型引入了一种创新的方法，用于零样本人群计数。尽管这些无监督方法表现出相当好的性能，但在高密度场景中的有效性仍然不是最佳的。相比之下，作者提出的方法即使在复杂的高密度环境下也能达到与某些监督方法相媲美的性能水平，从而为传统监督方法提供了一种可行的替代方案，后者需要大量的标注数据。

3 Method

在本文中，作者介绍了一种新颖的健壮性无监督人群计数方法，该方法利用了分割任何模型（SAM）的能力。作者的方法包括几个关键步骤。首先，作者提出了一个自适应推理策略来利用SAM，这使能够在各种人群场景中更精确地分割个体，尤其是较小尺寸的个体。然后，作者引入了一种健壮的方法，用于在预测的个体 Mask 内定位 Head 位置。这一步对于获得更精确计数的点伪标注至关重要。利用生成的 Mask 和点伪标签，作者训练了一个计数网络。作者的训练过程的特点是排除了不确定区域的健壮损失函数，从而提高了模型的精确性和可靠性。最后，作者提出了一种生成伪标签的迭代过程。这个过程基于计数网络的预测，旨在不断提高伪标签的质量。作者提出方法的总体工作流程在图2中展示。

Adaptive Resolution SAM

SAM最初是为了通用分割任务而设计的，并在数百万张图像上进行训练，这使得它能够在各种场景下进行泛化。然而，SAM的一个关键局限性在于它无法为其识别的片段分配特定的物体类别。为了克服这一点，作者选择了一个修改版的SAM，即“无处不在的分割模型”（SEEM）[48]。SEEM由于使用了语义标签进行训练，因此擅长为每个 Mask 提供语义标签，这增强了它在分割任务中的实用性。尽管SEEM具备这样的能力，但在检测拥挤图像中的小个体时仍面临挑战。这一限制主要源于其训练数据集中密集人群图像的相对比例较小[16]。为了解决这个具体问题，作者引入了自适应分辨率的SEEM（表示为AdaSEEM）。这种策略旨在提高模型在识别高密度人群场景中小型个体的性能，从而增强SEEM在复杂人群计数场景中生成 Mask 伪标签的整体有效性和适用性。

在作者的方法中，最初将SEEM应用于原始图像以获得分割结果。这些结果分为三个不同类别：非人（背景）区域、不确定区域和单个行人 Mask ，如图2所示。非人背景区域是带有非人标签的片段，而不确定区域包含不属于任何片段的像素。在初始分割之后，作者将图像裁剪成较小的块，并评估每个块中不确定区域的比例。如果一个块的不确定区域比例超过预定义的阈值

\tau

，作者就会放大这个块，将其分辨率加倍，并重新应用SEEM。非极大值抑制（NMS）用于合并来自不同迭代次数的片段。这个过程是迭代的，一直持续到所有块中不确定区域的比例低于阈值。通过迭代放大并重新在不确定性高的块上应用SEEM，作者显著提高了分割的准确性，尤其是在密集人群场景中检测较小个体时。这种自适应方法确保了分割结果既精确又可靠，作为人群计数的伪标签，提高了它们的有效性。

Robust Localization for Point Pseudo-labels

人群计数方法通常需要点标注来进行训练。因此，作者提出了一种算法，用于预测每个由AdaSEEM生成的个人人像面具中的 Head 位置。作者的方法从初始面具生成健壮的面具分布开始。将预测的初始面具表示为

M_{0}

。作者在

M_{0}

中随机采样

个点，并使用它们作为SEEM生成新面具的提示，表示为

\{M_{n}\}_{n=1}^{K}

。然后，作者通过计算预测面具的平均值来得到软面具分布：

M=\frac{1}{K+1}\sum_{i=0}^{K}M_{i}

。这个平均过程有助于平滑初始面具预测中的噪声和不一致性。

受到经典密度图生成方法[47]的启发，作者随后使用具有两个成分的高斯混合模型（Gaussian Mixture Model, GMM）来建模软 Mask 分布

。模型表示如下：

p(x)=\sum_{i=1}^{2}\pi_{i}\mathcal{N}(x|\mu_{i},\Sigma_{i}), \tag{1}

其中

\mu_{i}

和

\Sigma_{i}

分别代表混合模型中每个高斯分布的均值和方差。

作者使用期望最大化（EM）算法将软 Mask 分布

拟合到高斯混合模型（GMM）（详见补充材料）。最后一步是选择具有较小垂直坐标（高度）的高斯分量的均值

\mu_{i}

作为 Head 位置。这种方法有效地利用了GMM的统计特性来精确确定 Head 位置，从而适应分割过程中的可变性和噪声。

Counter Training

计数网络是通过生成的 Mask 和点伪标签进行训练的。对于一个输入图像

，相应的伪标签包括背景 Mask

M_{b}

，不确定 Mask

M_{u}

，个体 Mask

\{M_{i}\}_{i=1}^{N}

，以及 Head 位置

\{p_{i}\}_{i=1}^{N}

，其中

是图像中标注的人数。

作者提出的针对预测密度图

\hat{D}

的损失函数包括两个部分：背景损失和个体损失，其中在不确定区域的预测被忽略。背景损失是在背景（非人）区域定义的，在这些区域，预测值应接近0。其公式如下：

\mathcal{L}_{bkg}=\langle\hat{D},\;M_{b}\rangle, \tag{2}

在哪里，

\langle\cdot,\cdot\rangle

表示对两个矢量化矩阵执行逐元素的点积。

个体的损失由以下公式给出：

\mathcal{L}_{idv}=\frac{1}{N}\sum_{i=1}^{N}\Big{[}\big{|}\langle\hat{D},\;M_{i }\rangle-1\big{|}+\omega\langle\frac{\hat{D}\circ M_{i}}{\langle\hat{D},\;M_{i }\rangle},\;C_{i}\rangle\Big{]}, \tag{3}

在公式中，

C_{i}

是一个指数距离矩阵，其中的第

个元素

C_{i}^{[j]}=\exp(-\|x_{j}-p_{i}\|^{2}/\epsilon)

表示 Head 位置

p_{i}

与密度值位置

x_{j}

之间的指数距离。

\circ

表示逐元素的乘积。

第二个术语鼓励密度向 Head 收敛。关于这一点的更多细节，请参考[38]。

最终的损失函数是(2)中背景损失和(3)中个体损失的组合：

\mathcal{L}=\mathcal{L}_{idv}+\beta\mathcal{L}_{bkg}, \tag{4}

其中

\beta

是一个加权超参数。

Iterative Pseudo-label Generation

作者提出的方法的一个关键优势是它能够通过预测密度图来预测人群中的全局计数以及每个个体的精确位置（相比之下，[20] 只预测了计数）。这个功能使得可以进一步细化伪标签，特别是在寻找高密度区域中遗漏的个体时。

该过程首先使用预训练的计数网络预测个体的位置。特别是，高于阈值的局部最大值是潜在的人体定位，遵循[38]的方法。这些预测的位置随后被用作点提示，通过SEEM生成新的 Mask 。为了确保高召回率，作者使用多个点来生成更多 Mask ，并通过非最大值抑制（NMS）合并重复的 Mask 。在后续步骤中，这些新生成的 Mask 与上一轮迭代中的 Mask 使用NMS进行合并。这种迭代策略在高密度区域特别有效，它能够揭示在早期迭代中可能被遗漏的个体。

这种方法的视觉展示在图3中，它显示了该策略在检测人口密集区域中更多个体时的有效性。整个算法总结在算法1中。

算法1 基于鲁棒AdaSEEM的无监督人群计数

4 Experiments

在本节中，作者首先介绍实验设置。然后，作者将提出的方法与SOTA方法进行比较。

ods。最终，在消融研究中评估了所提方法的不同组件。

Experimental Settings

数据集： 作者在JHU-CROWD数据集[32]，UCF-QNRF[13]，以及ShanghaiTech[47]数据集上评估了所提出的方法。JHU-CROWD数据集是一个全面的大规模数据集，包含4,371张图片。它被分为三个子集：2,722张用于训练，500张用于验证，1,600张用于测试。UCF-QNRF数据集包括1,535张图片，其中1,201张用于训练，334张用于测试。ShanghaiTech数据集被分为两部分：ShanghaiTech A部分共有782张图片，其中482张用于训练，300张用于测试；ShanghaiTech B部分包括1,116张图片，716张用于训练，400张用于测试。

训练细节： 在作者的实验中，作者采用了来自[38]的计数网络架构，该架构基于VGG Backbone 网络[18]。网络使用Adam优化器进行训练，学习率为1e-5。在所有实验中，作者保持批大小为1，以确保训练条件的一致性。模型总共接受100个周期的训练，这足以让模型对数据集特性进行学习和适应。作为一种无监督的方法，在训练过程中作者没有使用人群标注，而是从训练图像中生成伪标签。

在作者的损失函数中，参数

\omega

和

\beta

在优化性能方面起着关键作用。根据图6和图7中的消融研究，这些参数分别设置为100和0.01。在AdaSEEM中的阈值

\tau

根据图10所示的实验结果设置为0.3。

指标：遵循先前的工作[38]，作者使用MAE（平均绝对误差）和MSE（均方误差）作为评估计数性能的指标：

MAE=\frac{1}{N}\sum\|\hat{y}_{i}-y_{i}\|,MSE=\sqrt{\frac{1}{N}\sum\|\hat{y}_{i }-y_{i}\|^{2}}, \tag{5}

其中

\hat{y}

和

分别代表预测的数量和真实数量，

是图像的数量。

Comparison with State-of-the-art Methods

为了评估作者提出方法的有效性，作者通过与最先进的无监督和监督方法进行比较来进行彻底的评估。这种比较的结果详细列于表1中。首先，作者的方法在MAE和MSE方面优于其他无监督方法，并且改进的幅度是显著的。这强调了作者方法在解决无监督计数固有的挑战方面的有效性。其次，比较还显示，作者方法的第二阶段在所有数据集上的表现都要优于第一阶段。这种改进验证了作者迭代伪标签生成策略的有效性。通过细化伪标签，模型能够获得更准确和可靠的计数结果。

作者在表1中将提出的方法与跨领域方法进行了比较，这些方法在源数据集上训练并在目标数据集上进行测试，在大多数情况下取得了更优越的性能。最后，提出的方法也与一些经典的监督学习方法进行了有利比较。然而，在处理密集拥挤的数据集方面，仍有很大的改进空间。

作者的无监督方法能够有效地从图像中预测密度图，如图5所示，这使得作者可以在不需要人工标签的情况下精确预测人的位置。这种能力也使得作者的迭代伪标签生成方法得以应用，从而提高了 Mask 质量和整体性能。

Ablation Study

自适应分辨率SAM 作者进行了计数实验以评估AdaSEEM的有效性，结果展示在表2中。研究发现，单独使用SEEM的效果最不明显，这表明直接使用SEEM并不是最佳选择，因为在高密度区域会遗漏许多小个体。然而，在实施了所提出的自适应分辨率策略后，性能有了显著的提升，特别是在高密度数据集UCF-QNRF上。在图4中，作者也可以观察到在使用AdaSEEM时，高密度图像的显著改善。这种改进强调了自适应分辨率策略在精确分割高密度区域内小个体方面的有效性。这种方法的有效性在图3(a, b)中进一步得到确认，与基础模型相比，使用AdaSEEM能够分割出更多的个体。这些发现共同强调了自适应分辨率策略在提升SEEM在复杂人群计数场景中的分割能力方面的重要性。

鲁棒定位 如图11所示，一种直接定位 Head 位置的方法是假设 Head 高度与 Mask 总高度的比例保持不变。为了验证作者提出的GMM拟合方法的有效性，作者将其与使用各种比例的这种朴素方法进行了比较。这种比较的结果展示在图8中。

实验证明，在不同比例下，高斯混合模型（GMM）拟合方法始终优于朴素方法。GMM拟合方法的优势在于其能够以数据驱动的方式学习行人 Mask 的动态形状。与依赖于关于 Head 高度比例的固定且任意的假设的朴素方法不同，GMM拟合方法能够适应人群中介于不同形状和大小的个体。这种灵活性使得 Head 位置定位更加准确和可靠，特别是在多样且不可预测的群体场景中。

迭代伪标签生成 为了提高 Mask 质量，作者引入了一种迭代伪标签生成方法，利用训练好的人数计数网络。首先，作者预测训练图像中的单个位置，将高于阈值的局部最大值视为潜在的人体定位，依照[38]的方法。这些预测的位置随后被用作SEEM分割的提示，有效地定位密集区域中的新行人。如图3所示，这种方法检测到更多的人，通过 Mask 数量的增加可以得到证明。表2中的性能比较显示了迭代伪标签生成方法（通过比较“AdaSEEM”和“AdaSEEM + 阶段1”）的显著改进。此外，使用这些精细化 Mask 的新训练计数网络比前一个阶段的性能更优，证实了这种方法的有效性（作者的阶段2训练）。

为了确定最优的迭代次数，作者在上海科技大学A数据集上进行了实验，结果如图9所示。研究发现，在第三个阶段达到峰值性能，之后性能趋于收敛。因此，在后续实验中，作者选择了三个阶段。

损失超参数 图6和图7展示了不同损失超参数

\omega

和

\beta

的消融研究。图10展示了

\tau

的消融研究。

定位性能 作者进一步在UCF-QNRF数据集上评估了所提方法的人群定位性能。作者提出的无监督方法的性能与现有监督方法进行了基准对比，填补了空白，因为此前没有可比较的无监督人群定位方法。尽管在训练过程中没有手动标注，但作者的方法显示出值得称赞的精确度，超过了表3中显示的几个监督方法。作者方法的召回率低于监督方法，但通过第二阶段训练可以显著提高，这证实了更多未被检测到的人被检测并伪标注了。虽然所提方法的整体定位性能仍然有限，且落后于最先进的监督方法，但考虑到缺乏手动标签，这些结果仍然是很有希望的。

5 Limitation

作者提出的方法当前的局限性在于生成伪标签的时间密集型迭代过程，因为它需要分割所有预测的点位置，而这一过程的持续时间会随着数据集的人口密度增加而增加。为了最大化召回率，作者预测了大量的位置，随后使用非极大值抑制（NMS）来合并重叠的 Mask ，这进一步增加了计算时间。未来的工作将重点开发一种更有效的伪标签生成技术，以提升训练效率。

6 Conclusion

在作者的研究中，作者引入了一种健壮的无监督人群计数方法，其性能优于先前的无监督方法，并且可以与一些监督方法相媲美。作者的方法包括一个自适应分辨率的SEEM，用于生成更优质的分割 Mask 作为密集区域的伪标签，以及一个健壮的定位方法。

作者提出了一种利用从多个 Mask 样本生成的软 Mask 上的高斯混合模型（GMM）拟合的计数技术，以及一种用新型损失函数训练的计数网络，该损失函数排除了不确定区域。此外，作者提出了一种迭代方法，通过使用训练有素的计数器的预测来增强伪标签，以找到尚未被伪标记的个体。未来的工作将旨在提高训练效率并改善定位性能。