SEM-CLIP:用于扫描电子显微镜图像中纳米级缺陷检测的精确少量学习 ！

在集成电路制造领域，纳米级晶圆缺陷的检测与分类对于后续的根本原因分析及产量提升至关重要。扫描电子显微镜（SEM）图像中存在的复杂背景图案以及缺陷多样化的纹理特征构成了重大挑战。 传统方法通常受限于数据不足、标签欠缺和较差的迁移性。 在本文中，作者提出了一种新颖的少样本学习方法——SEM-CLIP，用于准确的缺陷分类与分割。SEM-CLIP 对比蹭语言-图像预训练（CLIP）模型进行了定制，以更好地关注缺陷区域并最小化背景干扰，从而提高分割精度。 作者采用富含领域知识的文本 Prompt 作为先验信息来辅助精确分析。此外，作者的方法结合了带有文本指导的特征工程，以更有效地对缺陷进行分类。SEM-CLIP 对标注数据的需求很少，大幅降低了半导体行业的劳动力需求。 广泛的经验验证表明，在少样本学习场景下，作者的模型能够获得令人印象深刻地分类和分割效果。

1 INTRODUCTION

半导体制造是一个复杂且多面的过程，其中缺陷可能是由于工艺不当或设备问题引起的。为了实现实时监控，会捕捉SEM图像并基于缺陷的外观对其进行分类，从而帮助缺陷检测和根本原因分析。与粗略的晶圆级缺陷图谱不同，SEM图像可以提供更详细的缺陷特征，从而有助于确定具体的过程步骤和设备。目前，缺陷检测主要依赖人工操作，这既费时又容易出错。开发自动缺陷检测系统已成为一种趋势。

当前的晶圆表面缺陷检测与分类研究主要采用监督学习方法，需要大量的数据和详细的标注标签。一些方法用于缺陷分类[1-3]，还有一些分割方法被提出以提供详细的位置和形状信息[4-6]。尽管这些方法取得了出色的表现，但通常需要大量标注数据进行训练，导致工作量巨大。此外，由于缺乏足够的训练数据，这些方法在新缺陷检测中的迁移性较差。工业界总是重视标注数据的宝贵性。

因此，工业缺陷检测领域已经开始转向无监督或半监督异常分割方法[7-10]。这些方法只需要正常的样本来学习其分布，通过计算测试样本与正常样本之间的分布差异来进行异常检测。然而，这种方法仍然需要大量的正常样本进行训练。由于缺陷发生的背景差异性较大，导致正常样本之间存在显著差异，这使得在晶圆表面缺陷检测场景中应用此方法颇具挑战。

最近，预训练的跨模态模型如CLIP [11]和SAM [12]取得了迅速进展，通过使用 Prompt 来访问存储的先验知识，从而展示了强大的零样本视觉感知能力 [13]。鉴于此，作者正在探索利用基于CLIP模型的方法来解决数据稀缺问题。然而，考虑到集成电路应用场景的独特性，网络预训练中使用的文本-图像对可能包含很少或完全没有半导体的SEM图像。因此，调整CLIP模型的基础结构并加入少量正常和异常样本的SEM图像作为目标类别的支持图像变得至关重要。这些调整将使模型更有效地识别和分类半导体制造过程中遇到的具体类型的缺陷。

这种策略使作者能够通过少量样本利用模型内在理解复杂视觉概念的能力，并将其适应半导体制造的具体需求。作者可以创建一个更高效且有效的模型来检测和分类晶圆表面缺陷，而不需要大量标注的数据集。为此，作者提出了一种名为SEMCLIP的方法，这是一种遵循少样本学习机制设计的CLIP方法，用于缺陷检测。本工作的贡献总结如下：

1. 作者提出了一种新颖的少样本学习方法SEMCLIP，用于在少量数据和标签要求下进行准确的SEM图像缺陷分类和分割。据作者所知，这是首个针对SEM Level IC缺陷检测任务的少样本学习工作。
2. 作者定制了对比语言-图像预训练模型，使其专注于缺陷区域，并通过添加V-V注意力块来采用一种新的特征提取方法，以最小化复杂的背景干扰并提高分割准确性。
3. 富含专家知识的 Prompt 被精心设计并应用于先验信息中，以指导分类和分割过程。文本引导的特征工程结合分类头以提升分类性能。

作者在自建的SEM图像缺陷数据集上针对多种少样本设置进行了全面实验。结果显示，作者的方法在iAUROC、pAUROC和得分方面显著优于其他方法。

例如，在10-shot设置下，SEM-CLIP超越了最近的SOTA方法PromptAD，分别在iAUROC、pAUROC和方面提高了、和。作者的方法将有助于晶圆厂缓解标签示不足和劳动成本高昂的问题，从而促进智能制造的发展。

2 PRELIMINARIES

2.1 Pre-trained Vision-language Model

视觉语言模型处理和整合视觉和文本数据，能够完成需要对两个领域有统一理解的任务。CLIP 模型 [11] 在大约 4 亿张图像-文本对上进行了预训练，具有较强的泛化能力，并能利用自然语言来指代学习到的视觉概念。基于 Transformer 的编码器 [14] 将特征投影到一个共享的嵌入空间，在这个空间中通过对比损失函数计算相似度，该损失函数将匹配的对齐起来并将不匹配的分开。这种设计使得 CLIP 能够在各种任务上有效泛化，而不需要针对特定任务进行训练，展示了其下游应用中的灵活性 [15-18]。

2.2 Wafer Surface Defect Detection

缺陷检测对于提高集成电路制造中的产量至关重要。传统研究主要集中在晶圆地图上，根据测试结果用颜色 Token 故障芯片。尽管这些地图可以提供有关缺陷的空间洞察，但随着芯片组件复杂性的增加，晶圆地图 Level 的检测变得更加困难且不够精确[19-22]。为了克服这些局限性，扫描电子显微镜(SEM)等放大成像技术对于仔细检查晶圆表面至关重要。如图1所示，需要先进的方法来准确检测、分类和分析微小缺陷，并确定缺陷的具体起源工艺步骤。

2.3 SEM Image Defect Data

由于缺乏公开的SEM图像数据集，在内部拥有的一条12英寸、55nm CMOS制造线上收集了一些数据。该数据集包括1332张灰度图像，其中包含226张无缺陷图像和1106张缺陷图像，这些缺陷图像被分类为六种常见缺陷类型：59个桥接、141个铜残留、230个孔洞、77个薄膜内缺陷、455个颗粒和144个刮痕。图2展示了部分示例。

2.4 Related Work

晶圆表面缺陷检测传统上依靠工程师进行，依赖于耗时且不一致的经验知识。随着人工智能的发展，深度学习技术在这一任务中变得非常有效[23]。已经开发出了多种分类方法。Chen等提出了一种使用PCA和SVM的缺陷识别算法[1]。Chang等利用SVM以及平滑度和纹理特征[2]。Cheon等引入了用于特征提取的CNN模型[3]。缺陷分割对于确定缺陷位置和尺寸至关重要。常用的编码器-解码器网络包括UNet[4]和SegNet[5]。Han Hui等结合了区域建议网络（RPN）与UNet，用于缺陷区域建议[24]。Subhrajit Nag等引入了WaferSegClassNet，该模型同时进行分类和分割[6]。最近，Vic De Ridder等应用扩散模型来预测和重建半导体缺陷的 Mask ，虽然精确度高但计算成本高昂，并且在处理多种缺陷类型方面存在局限性[25]。

尽管取得了这些进展，这些方法仍然高度依赖大量准确 Token 的数据，而这类数据稀缺，且它们在转移到新的缺陷类型时表现不佳。

2.5 Few-shot Anomaly Detection

传统异常检测依赖于大量的训练数据，这在动态环境中多种类型的异常变化时限制了其有效性。近期的研究重点关注使用少量甚至零样本数据来克服这些挑战。丁等人引入了DRA [26]，尽管没有特别提到少样本学习的概念，但仍通过学习少量 Token 样本，有效地识别已知和未知的异常。近期研究表明，预训练的视觉-语言模型如CLIP能在该任务中显著提升性能。郑等人开发了WinCLIP [27]，这是首个使用视觉语言模型进行少样本异常检测的框架，通过引入新的窗口技术结合状态词和 Prompt 模板以提高性能。顾等人提出了AnomalyGPT [28]，利用在模拟异常上训练的大规模视觉-语言模型，有效定位异常。陈等人提出了CLIP-AD (零样本) [29]，而李等人则推出了PromptAD (少样本) [30]，两者均采用双路径模型和特征手术来增强CLIP的异常检测能力。

这些研究推动了传统异常检测的边界，展示了少样本学习如何迅速有效地应对动态且数据稀缺的环境。作者的研究将CLIP方法扩展至支持SEM图像缺陷检测。

2.6 Problem Definition

作者的目标是基于 (X) 构建一个具有少样本学习能力的模型，该模型可以生成 (M) 个SEM图像测试集（(M \gg K)）的准确缺陷分类标签和像素级分割结果。默认情况下，在作者的情境中 (N=7)，无需进一步解释。

3 SEM-CLIP FRAMEWORK

在本节中，作者介绍了专门为少量样本条件下识别和分割晶圆表面缺陷设计的SEM-CLIP，具体如图4所示。首先，作者构建了一个包含关于晶圆表面缺陷模式专家知识的文本 Prompt ，从而避免为每个样本分配详细的标签。随后，在经典的ViT架构[31]中添加了一个注意力块到Transformer块内，实施了一种双路径模块。从该架构中提取不同层次的特征，并采用一种新方法去除冗余特征以计算相似性。此外，作者使用少量样本对 Transformer Layer 和分类头进行了微调，最终实现了精确的缺陷分类和分割结果。

3.1 Text Prompt Design

由于集成电路制造工艺的复杂性，晶圆表面缺陷在外观上变化极大，导致同一类型的缺陷在形态上有显著差异，而不同类型的缺陷在纹理上有相似之处，如图3所示。因此，利用领域专家知识将粗糙的 Prompt 词“异常”或“缺陷”细化为更详细的目标缺陷形态描述至关重要。例如，“划痕”类型的缺陷通常在后端工艺（BEOL）中表现为细长线状 Token ，而在前端工艺（FEOL）中则可能表现出鱼鳞状模式。这些椭圆形的凹陷呈连续分布，如果没有仔细观察，很容易被误认为孔洞型缺陷。

本文采用了复合 Prompt 结构，如图5所示。作者将 Prompt 分解为模板级和状态级组件，其中状态级 Prompt 提供了每种缺陷可能出现的详细描述，例如“具有线性划痕的{}图像”或“具有鱼鳞状划痕的{}∞图像”。此外，由于扫描电子显微镜在对焦问题或不同电子束强度导致的图像亮度变化等因素的影响下可能会产生模糊，因此模板级 Prompt 可以描述这些影响，比如“一张模糊的{}图像”或“一张黑暗的{}图像”。最后，通过用状态级 Prompt 替换模板级 Prompt 中的状态，作者将它们结合形成最终的文字 Prompt 。

文本 Prompt 设计并共享给所有SEM图像。在作者模型的实际应用和 Query 图像的分析过程中，无需调整 Prompt 。

3.2 Image Feature Extraction

3.3 Defect Segmentation

在使用预训练的CLIP模型进行零样本缺陷分割时，常规方法是直接计算文本和图像嵌入之间的相似性以获得缺陷图。然而，这种方法并不适合作者的任务。尽管作者构建了一个详细的文本 Prompt 并加入了专家知识，文本仍然难以全面描述对应的图像信息，尤其是作者的异常SEM图像。这意味着作者的问题无法通过零样本方法解决，而是需要使用少样本样本进行微调。在本研究中，作者采用了少样本学习的方法来改进SEM缺陷的检测。具体的实现细节如下：

3.4 Defect Classification

4 EXPERIMENTS

4.1 Experiments Settings

评价指标包括区域AUROC (iAUROC)、点AUROC (pAUROC) 以及分割中的像素级 -max，分类中的精度 (Accuracy)、精确率 (Precision)、召回率 (Recall) 以及 分数。作者利用基于 LAION-400M 的 CLIP 模型并配备 进行实验。图像编码主干由 12 层组成，作者将其分为 4 个编码块，即 。因此，每个编码块包含 3 层，对应于 3 个双路径块，即 。所有实验均在 NVIDIA RTX 4090 上进行。对于微调策略，作者使用 Adam 优化器进行参数更新。方程（23）中的超参数 设置为 0.8。

4.2 Benchmarks and Baselines

对于缺陷分割性能，作者在一系列少样本设置下主要将作者的方法与 [27]、PromptAD [30]、DRA [26] 和 AnomalyGPT [28] 进行比较。这些方法代表了流行的异常检测（AD）方法和最近的最先进（SOTA）AD模型。WinCLIP 和 PromptAD 均基于 CLIP 进行异常检测，因此作者使用 ViT-B/ 并在 LAION-40oM 上进行预训练。这些 Baseline 在第 2 节中详细介绍了。

由于先前方法中缺乏多类别分类能力，作者使用在ImageNet-21K [33]上预训练的模型比较分类性能，包括ViT [31]、ResNet [31]、ResNet101 [34] 和 EfficientNet [35]。每个模型都在作者的SEM数据集上用10-shot样本来进行微调，并与作者在同一测试集上的SEM-CLIP模型进行对比。

4.3 Results Analysis

此外，在少样本（10-shot）设置下，SEM-CLIP 显示了精确的缺陷定位和分割能力，有效地区分了正常区域和缺陷区域，如图6所示。

Classification performance comparisons.

SEM-CLIP 在几乎所有评价指标上表现出色，尤其是在 (F_{1}) 分数方面，这展示了其识别缺陷类别并最大限度减少假阴性的能力。这对于作者的 SEM 图像分类任务来说尤为重要，尤其是处理不平衡的缺陷类别时。根据表2 的数据，作者的方法在准确性、召回率和 (F_{1}) 分数上均达到最高值，尽管预训练的 EfficientNet 模型在精确度方面超过了作者。这一优势可能是由于 EfficientNet 对多样化的 ImageNet 数据集有广泛的先验知识，并采用了高级正则化技术。然而，EfficientNet 较低的整体准确度表明其识别能力较弱。SEM-CLIP 在几乎所有评价指标上表现出色，特别是在 (F_{1}) 分数方面，这显示了其在识别缺陷类别方面的高精度，同时最大限度地减少了假阴性，使其非常适合处理不平衡类别的 SEM 图像分类任务。图7 的混淆矩阵表明，SEM-CLIP 对大多数缺陷的分类准确性较高，但对“颗粒”类别的分类表现不佳。这一挑战源于颗粒的形态多样性，使得它们容易与其他缺陷混淆，尤其是 inflim 类别，因为这些实际上是嵌入薄膜中的颗粒，具有类似的形态，如图3 所示。

4.4 Abalation Studies

SEM-CLIP用于缺陷分割。作者首先研究了使用少样本进行微调的影响。在表3中，“无 Transformer Layer ”表示未使用 Transformer Layer ，因此直接使用进行分割，如图8所示。作者的SEM图像来自生产线，并且图像顶部和底部显示有文本信息。未经微调的情况下，模型往往会错误地将这些文本信息识别为缺陷。此外，对SEM图像背景复杂性的理解不足也会使其容易误分类正常的背景模式为缺陷。

作者还评估了 Prompt 设计的影响。“无详细 Prompt ”指的是使用通用 Prompt 而非详细的、基于专家的信息 Prompt 。结果表明，详细的 Prompt ，例如“带有直线划痕的{}∞{}图像”，更为有效。

最后，作者分析了多层特征的作用。作者的SEMCLIP模型使用来自四个编码块的输出，包括普通图像嵌入和新型图像嵌入，来计算缺陷图。“无多层”表示仅使用最后一个编码块的输出。整合多层信息显著提高了分割性能。

SEM-CLIP for defect Classification.

表3展示了各种组件对分类效果的影响。“w/o "表示排除了CLIP的先验知识，使得分类仅依赖于分类头，即在方程(23)中时的情况。“w/o ”仅依赖于文本 Prompt 导向的预测。结果显示，仅仅依赖预训练的CLIP不足以用于SEM缺陷分类。使用少样本数据进行微调显著提高了性能，突显了少样本学习在专门任务中的重要性。对于分类而言，“ multi-layer”指的是只使用最后一层的CLS Token。结果表明，采用多层方法可以增强特征检测，从而通过捕捉全局和局部图像特征来获得更好的分类性能。

5 CONCLUSIONS

在本文中，作者介绍了SEM-CLIP，这是一种创新的少样本学习方法，能够将缺陷分类和分割功能结合起来。该方法利用精心设计的 Prompt 来优化视觉-语言模型，以实现更有效的文本引导学习。

此外，它还拥有针对分割和分类任务不同需求量身定制的架构。SEM-CLIP有效减少了SEMs缺陷数据中存在的复杂背景的影响，并解决了复杂缺陷纹理带来的挑战。

参考

[0]. SEM-CLIP: Precise Few-Shot Learning for Nanoscale Defect Detection in Scanning Electron Microscope Image .