首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >原来工业 AI 异常检测只做了一半?AnomalyNCD 补上了“最关键一环”

原来工业 AI 异常检测只做了一半?AnomalyNCD 补上了“最关键一环”

原创
作者头像
CoovallyAIHub
发布于 2025-07-31 01:41:50
发布于 2025-07-31 01:41:50
3280
举报

【导读】

在工业质检中,发现异常并不难,但“认识”异常却很难。现有检测方法大多只能告诉你“这有问题”,却无法说明“出了什么问题”,更别提识别此前未曾见过的“新型缺陷”。

为了解决这一痛点,华中科技大学等研究团队在CV领域最新论文中提出了AnomalyNCD,一个支持工业场景中异常分类与新类别发现的通用框架,兼容主流检测器,在MVTec AD和MTD两大数据集上全面领先。

过去已经有很多优秀的异常检测方法,能准确圈出“哪里不对劲”,但在实际工业应用中,这远远不够。如果不能进一步判断缺陷类型、归因问题根源、甚至识别此前从未见过的新型异常,就无法真正做到智能化的质检分析。而这正是当前大多数方法的“短板”。

AnomalyNCD的出现,就是为了解决这一从“检测”到“理解”的跨越。它不仅能识别异常,更能学习如何分类这些异常,甚至面对从未见过的缺陷类型,也能“自学成才”完成归类,真正赋予系统“类比与认知”能力。

项目开源地址:

https://github.com/HUST-SLOW/AnomalyNCD


一、为什么“发现异常”远远不够?

近年来,工业异常检测方法已能有效定位图像中的缺陷区域,但对于下游流程而言,仅仅检测“有问题”还远远不够。

例如,在实际生产中,我们不仅需要知道某个零件是否异常,还需要明确是哪一类问题——是裂纹、烧蚀还是磨损?更进一步,很多缺陷在初期甚至没有明确的定义,因此模型需要具备“发现未知异常类型”的能力,即异常多分类与新类别发现(Novel Class Discovery, NCD)。

screenshot_2025-07-30_15-21-02.png
screenshot_2025-07-30_15-21-02.png

但这并不容易。工业异常的“语义性”很弱,往往形态不显著、位于图像角落,现有方法在这种低语义场景中容易混淆背景与前景。


二、技术创新:三大模块构建强健异常识别框架

screenshot_2025-07-30_15-14-51.png
screenshot_2025-07-30_15-14-51.png

AnomalyNCD 结合异常检测与新类别发现(Novel Class Discovery, NCD)思想,构建了一个完整的异常多分类管线。核心包括三个创新设计:

主元素二值化 MEBin:从异常图中提纯“可信区域”

工业检测容易产生伪异常(误检)和漏检。为了避免这些噪声影响学习,AnomalyNCD 首先设计了主元素二值化算法(MEBin),从检测器输出的异常热图中提取稳定出现的异常区域

  • 通过多阈值滑动,统计区域数量变化,选择最稳定的一段,作为主要异常区域。
  • 显著减少误分割,提高后续学习质量。
screenshot_2025-07-30_15-22-07.png
screenshot_2025-07-30_15-22-07.png

掩码引导的表示学习:让ViT“看对地方”

ViT虽强,但在工业场景容易“注意力跑偏”。作者提出掩码引导注意力机制,只引导 [CLS] token 聚焦于异常区域,同时保留其他token的全局感知能力

  • 在ViT后九层中加入掩码引导机制(MGA),训练时将异常掩码转化为注意力引导。
  • 即使预测掩码不准,模型仍能聚焦大致区域。
screenshot_2025-07-30_15-22-33.png
screenshot_2025-07-30_15-22-33.png

区域融合策略:从子图预测还原整图分类

由于每幅图中可能有多个异常区域,且部分区域是误检,作者提出面积加权融合策略,避免“平均投票”被噪声干扰:

  • 每个异常子图的预测结果按面积大小加权,得出整图预测
  • 有效降低“误检子图”对整图判断的负面影响。
screenshot_2025-07-30_15-22-48.png
screenshot_2025-07-30_15-22-48.png

三、实验结果:性能全面领先多个主流方法

AnomalyNCD不仅理论设计合理,在实际效果上也具备明显优势。论文在两个权威工业数据集上进行了充分对比实验:

在 MVTec AD 数据集(图像类别丰富,异常种类多)

仅使用未标注图像,与当前最强无监督聚类方法(AC)相比,NMI 提升 8.8%,F1 提升 10.8%(见表格1)。

screenshot_2025-07-30_15-23-03.png
screenshot_2025-07-30_15-23-03.png

结合一类检测器(如CPR)后,F1 高达 80.5%,比原方法高出近10个百分点(见表格2)。

screenshot_2025-07-30_15-23-10.png
screenshot_2025-07-30_15-23-10.png

在 MTD 数据集(磁砖缺陷,异常更难区分)

  • 即使在伪标签干扰更强、语义更弱的场景中,仍然优于现有聚类方法,F1 提升高达 12.8%
  • 使用 PatchCore 作为前置检测器,也取得比UniFormaly更优的结果。

消融实验进一步验证模块有效性

引入主元素二值化(MEBin)后,F1 提升 7.2%,且在不同AD方法上均优于固定阈值方案。

screenshot_2025-07-30_15-23-25.png
screenshot_2025-07-30_15-23-25.png

掩码引导模块(MGA)在不同位置插入后,以“最后9层”为最佳配置(见表格5)。

图片
图片

伪标签修正策略(PLC)显著提升正常类识别的 recall(+14.9%)。

screenshot_2025-07-30_15-23-42.png
screenshot_2025-07-30_15-23-42.png

四、应用前景与意义

AnomalyNCD不仅兼容各种工业检测算法,还具备以下优势:

  • 可自动适应“未知”异常,减少人工标注负担;
  • 可用于复杂缺陷分类、视觉质检分流、智能决策等下游流程;
  • 框架可扩展性强,可结合YOLO、PatchCore等多种检测模块。

这意味着在未来的智能工厂中,算法不再只是“告诉你哪里坏了”,而是能够进一步“告诉你坏在哪、坏了什么”,让生产更加高效、智能、少人工。


总结

AnomalyNCD的提出,标志着工业异常检测进入一个全新阶段:从“发现异常”迈向“理解异常”。这一框架不仅增强了AI在工业质检中的智能程度,也为NCD在低语义场景中的落地应用提供了重要示范。未来,类似的自监督与掩码机制将成为提升工业智能的关键武器。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
基于OpenVINO实现无监督异常检测
异常检测(AD) 在欺诈检测、网络安全和医疗诊断等关键任务应用中至关重要。由于数据的高维性和底层模式的复杂性,图像、视频和卫星图像等视觉数据中的异常检测尤其具有挑战性。然而,视觉异常检测对于检测制造中的缺陷、识别监控录像中的可疑活动以及检测医学图像中的异常至关重要。
Color Space
2024/06/04
1.2K0
基于OpenVINO实现无监督异常检测
利用大视觉-语言模型(LVLM)来提高工业环境中异常检测和定位的效果 !
工业异常检测(IAD)在确保制造过程的质量和安全方面起着至关重要的作用,特别是在依赖自动化系统进行生产的行业中。识别工业系统中的异常或故障行为——无论是机械设备故障、材料缺陷还是工艺偏差——对于减少停机时间、降低运营成本并保证产品质量至关重要。近年来,大型多模态视觉语言模型(LVLMs)的出现为提升IAD的技术水平提供了前景。LVLMs结合了视觉理解和自然语言处理的能力,在涉及图像和文本数据的任务中展示了强大的能力[1,2]。LVLMs的双模态特性使其特别适用于工业异常检测,因为在这种场景下需要同时理解视觉模式和文本描述(例如缺陷报告、产品手册和机器日志)。
AIGC 先锋科技
2025/01/13
9760
利用大视觉-语言模型(LVLM)来提高工业环境中异常检测和定位的效果 !
前沿论文 Arxiv'24 | AMI-Net: 用于异常检测与定位的自适应掩码修复网络
无监督视觉异常检测对于提高工业生产质量和效率至关重要。在无监督方法中,重建方法因其简单性和有效性而广受欢迎。重建方法的关键在于异常区域的恢复,而现有方法在这方面尚未取得令人满意的效果。为了解决这一问题,作者从自适应掩码修复的角度提出了一种新颖的自适应掩码修复网络(AMI-Net)。与传统方法将非语义图像像素作为目标不同,作者的方法使用预训练网络提取的多尺度语义特征作为重建目标。鉴于工业缺陷的多尺度特性,作者引入了一种涉及随机位置和数量掩码的训练策略。此外,作者提出了一种创新的自适应掩码生成器,能够生成自适应掩码,有效掩盖异常区域同时保留正常区域。通过这种方式,模型可以利用可见的正常全局上下文信息来恢复被掩盖的异常区域,从而有效抑制缺陷的重建。在MVTec AD和BTAD工业数据集上的大量实验结果验证了所提方法的有效性。此外,AMI-Net表现出卓越的实时性能,在检测精度和速度之间取得了良好的平衡,非常适合工业应用。
小白学视觉
2025/02/05
3390
前沿论文 Arxiv'24 | AMI-Net: 用于异常检测与定位的自适应掩码修复网络
ICLR 2025 | 多模态大模型能否胜任工业异常检测?MMAD基准揭示真相
事实上,工业场景中的许多任务——例如异常检测——就属于这种基础但至关重要的工作。想象一下,一个工厂质检员每天需要检查成千上万的产品,找出微小的缺陷或异常。这是一项既繁琐又要求极高的工作,通常依赖大量人力完成。如果能够用AI替代这种重复性强且耗时的任务,不仅可以显著提高效率,还能让人类员工专注于更具创造性和战略性的工作。
小腾资讯君
2025/02/14
7420
工业缺陷检测深度学习方法综述
基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本,提升检测的准确性与效率,因而在智能制造中扮演重要角色,并逐渐成为计算机视觉领域新兴的研究热点之一。其被广泛地应用于无人质检、智能巡检、质量控制等各种生产与运维场景中。
一点人工一点智能
2022/12/27
1.9K0
工业缺陷检测深度学习方法综述
ECCV 2024|腾讯优图实验室14篇论文入选,含工业缺陷异常检测、图文引导图像编辑、多模态标签等研究方向
近日,ECCV(European Conference on Computer Vision)组委会公布了录用论文名单,共有2395篇论文被录用,录用率27.9%。ECCV,即欧洲计算机视觉国际会议,是计算机视觉领域中最顶级的会议之一,与ICCV和CVPR并称为计算机视觉领域的“三大顶会”。ECCV每两年举行一次,会议内容广泛覆盖了计算机视觉的所有子领域,包括但不限于图像识别、物体检测、场景理解、视觉跟踪、三维重建、深度学习在视觉中的应用等。
公众号-arXiv每日学术速递
2024/07/31
9260
ECCV 2024|腾讯优图实验室14篇论文入选,含工业缺陷异常检测、图文引导图像编辑、多模态标签等研究方向
ICCV 2025 | SeaS: 工业异常生成+正常合成+精准掩码大一统框架,指标全面碾压SOTA
当前先进制造领域的产线良率往往超过 98%,因此异常样本(也称为缺陷样本)的搜集和标注已成为⼯业质检的核⼼瓶颈,过少的异常样本显著限制了模型的检测能⼒,利⽤⽣成模型扩充异常样本集合正逐渐成为产业界的主流选择,但现有⽅法存在明显局限:
机器之心
2025/08/09
1180
ICCV 2025 | SeaS: 工业异常生成+正常合成+精准掩码大一统框架,指标全面碾压SOTA
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
在工业制造、食品质检、自动驾驶等场景中,异常检测(Anomaly Detection, AD)被广泛应用。但现实中的异常数据稀缺,导致训练高质量检测模型变得非常困难。
CoovallyAIHub
2025/06/10
3540
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/ftp/arxiv/papers/2205/2205.00908.pdf 链接: https://pan.baidu.com/s/1ar2BN1p2jJ-cZx1J5dGRLg  密码: 2lah 计算机视觉研究院专栏 作者:Edison_G 目前霸榜第一,99.56%,一秒31.34张图片。 1 概括 半监督框架下,研究者提出了一
计算机视觉研究院
2022/05/20
1.1K0
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
【他山之石】ICLR 2024 | 跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP!
“他山之石,可以攻玉”,站在巨人的肩膀才能看得更高,走得更远。在科研的道路上,更需借助东风才能更快前行。为此,我们特别搜集整理了一些实用的代码链接,数据集,软件,编程技巧等,开辟“他山之石”专栏,助你乘风破浪,一路奋勇向前,敬请关注!
马上科普尚尚
2024/05/06
8790
【他山之石】ICLR 2024 | 跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP!
通用异常检测新曙光:华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值,在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而,对于实际的应用而言,异常检测也需要理解数据的高层语义,从而深入理解 “什么是异常”。
机器之心
2023/11/13
7470
通用异常检测新曙光:华科大等揭秘GPT-4V的全方位异常检测表现
ICLR和CVPR双料大作:谷歌自监督学习框架,夺榜多个异常检测数据集
异常检测(有时称为离群值检测或分布外检测)是许多领域中最常见的机器学习应用之一,从制造业中的缺陷检测到金融中的诈骗交易检测。
新智元
2021/09/17
1.2K0
汇总 | 深度学习工业缺陷检测技术与框架
深度学习算法能够自动从大量数据中学习特征,无需人工设计复杂的特征提取规则,从而实现自动化检测。
OpenCV学堂
2024/07/16
2.3K0
汇总 | 深度学习工业缺陷检测技术与框架
RealNet:从数据生成到模型训练的最新工业异常检测 | CVPR 2024
论文: RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection
VincentLee
2024/08/19
6460
RealNet:从数据生成到模型训练的最新工业异常检测 | CVPR 2024
AAAI 2024 | 腾讯优图实验室27篇论文入选,含表格结构识别、异常图像生成、医学图像分割等研究方向
AAAI 2024 (AAAI Conference on Artificial Intelligence) 人工智能国际会议于近日公布论文录用结果,本届会议共收到9862篇份论文投稿,最终录用2342篇论文,录用率23.75%。
小腾资讯君
2024/01/17
2.1K0
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
机器之心专栏 作者:王延峰、张娅 来自上海交通大学 MediaBrain 团队和上海人工智能实验室智慧医疗团队等的研究人员提出了一种基于配准的少样本异常检测框架 RegAD,用于学习多个异常检测任务之间共享的通用模型。RegAD 无需模型参数调整,仅利用少量正常样本,就可以直接应用于新的异常检测任务。 近年来,异常检测在工业缺陷检测、医疗诊断,自动驾驶等领域有着广泛的应用。“异常”通常定义为 “正常” 的对立面,即所有不符合正常规范的样本。通常来说,相比于正常,异常事件的种类是不可穷尽的,且十分稀有,难以收
机器之心
2022/07/26
5800
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
「AI 质检员」在富士通工厂上岗,检测效率比人工提升 25%
内容提要:日本第一 IT 厂商富士通,于近日宣布开发了用于检测产品外观异常的 AI 技术,从而节省人力成本、材料成本等,同时也可节省声誉损失和退货/召回相关的成本,「无人工厂」已来。
HyperAI超神经
2021/04/14
4930
异常检测,GAN如何gan ?
在图像方面,比如每天出入地铁安检,常常看到小姐姐小哥哥们坐在那盯着你的行李过检图像,类似如下(图来自GANomaly论文):
公众号机器学习与AI生成创作
2020/04/27
3.1K0
基于对比学习的时间序列异常检测方法
时间序列异常检测是一项重要的任务,其目标是从时间序列的正常样本分布中识别异常样本。这一任务的最基本挑战在于学习一个能有效识别异常的表示映射。
算法进阶
2023/08/28
1K0
基于对比学习的时间序列异常检测方法
业界最大!腾讯优图发布Real-IAD大规模工业异常检测数据集!
Title:Real-IAD: A Real-World Multi-View Dataset for Benchmarking Versatile Industrial Anomaly Detection
腾讯云TI平台
2025/02/11
5800
业界最大!腾讯优图发布Real-IAD大规模工业异常检测数据集!
推荐阅读
基于OpenVINO实现无监督异常检测
1.2K0
利用大视觉-语言模型(LVLM)来提高工业环境中异常检测和定位的效果 !
9760
前沿论文 Arxiv'24 | AMI-Net: 用于异常检测与定位的自适应掩码修复网络
3390
ICLR 2025 | 多模态大模型能否胜任工业异常检测?MMAD基准揭示真相
7420
工业缺陷检测深度学习方法综述
1.9K0
ECCV 2024|腾讯优图实验室14篇论文入选,含工业缺陷异常检测、图文引导图像编辑、多模态标签等研究方向
9260
ICCV 2025 | SeaS: 工业异常生成+正常合成+精准掩码大一统框架,指标全面碾压SOTA
1180
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
3540
霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测
1.1K0
【他山之石】ICLR 2024 | 跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP!
8790
通用异常检测新曙光:华科大等揭秘GPT-4V的全方位异常检测表现
7470
ICLR和CVPR双料大作:谷歌自监督学习框架,夺榜多个异常检测数据集
1.2K0
汇总 | 深度学习工业缺陷检测技术与框架
2.3K0
RealNet:从数据生成到模型训练的最新工业异常检测 | CVPR 2024
6460
AAAI 2024 | 腾讯优图实验室27篇论文入选,含表格结构识别、异常图像生成、医学图像分割等研究方向
2.1K0
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
5800
「AI 质检员」在富士通工厂上岗,检测效率比人工提升 25%
4930
异常检测,GAN如何gan ?
3.1K0
基于对比学习的时间序列异常检测方法
1K0
业界最大!腾讯优图发布Real-IAD大规模工业异常检测数据集!
5800
相关推荐
基于OpenVINO实现无监督异常检测
更多 >
交个朋友
加入[腾讯云] DeepSeek开发者交流群
前沿技术深度讨论 发展开发者人脉圈
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档