AI Talk | AI工业质检之以图搜图引擎

腾讯云TI平台

发布于 2022-01-27 03:12:25

1K0

伴随人工智能的极速发展，AI工业也随之大放异彩，工业质检是整个制造中一个非常重要的环节，传统人工工业质检缺乏统一性标准，人工质检效率低，人工质检失误多，制造企业招工难，AI智能质检也随之被各大AI公司看好，AI质检具有天然优势，成本低，效率高等，但如何工业AI质检有效落地是我们面临的一个巨大挑战，工业有本身行业的特殊性，质量标准，生产工艺，产品多样性都给AI质检系统带来阻力。

今天一篇“AI工业质检之以图搜图引擎”带大家如何解决工业漏检问题，如何回溯漏检历史现场。

产品功能/使用

工业质检主要指标问题：过杀与漏检，过杀是指工业产品是完好样品被AI质检系统判定为缺陷样品，漏检是指工业产品是缺陷样品被AI质检系统判定为完好样品，漏检的分析问题定位也是整个AI质检系统最难课题之一，例如AI质检系统检测了上万甚至百万样品为完好样品，在人工复查时发现个别样品是缺陷样品，这样情况如何解决问题，样品没有编号就无法还原到漏检现场，不能复现漏检现场就无法真正解决问题，为了回溯漏检历史现场，项目起初采用人工肉眼搜查，根据漏检样品特别的纹路或斑点搜索历史图片确定漏检样品拍摄图像，这样做效率低，耗时长，成本高。以图搜图引擎就是以这样背景情况设计出来，终极目的回溯漏检历史现场。

挑战与困难

目的 一：工业环境可以多项目迁移 二：高性能，短时间回溯漏检现场 三：高命中率，快速定位问题

以图搜图发展历史悠久，目前市面流行方案绝大部分就是采用深度学习，基于训练模型方向进行图片特征提取，再根据图片特征进行比对得到余弦距离或者欧氏距离，例如使用最广泛的人脸比对，人脸聚类等，在工业该方案太过复杂，成本太高，模型训练，特征比对都是大工程，还考虑多项目迁移问题。如果使用传统opencv matchTemplate可以做到降低成本，多项目迁移，但是matchTemplate性能太低，耗时太长，该如何技术选择，方案设计？

解决方案

结合工业环境特征性，搜图算法采用传统matchTemplate方案，在该算法基础内聚多项核心策略解决matchTemplate性能低，命中率低问题，核心策略围绕目标图像筛选，搜索图片选中关键区域，图像模板匹配，多任务并发。

引擎设计流程结构图上述

目标图像筛选：工业产品90%都是多角度成像，利用多角度成像实现产品2维化平面检测，多角度通常称多点位设计，成像严格按照点位设计固定拍摄，无论机台复制多少实例，成像都使用一套点位黄金模板，以图搜图目的是回溯漏检历史现场，这时就可以利用点位设计，把漏检样品二次拍摄，挑选样品特征明显的点位，根据单点位图像搜图漏检历史现场，这样可以节省巨大搜图时间，也同时提高搜图命中率。

关键区域与图像模板匹配：上述讲到根据点位设计可以达到目标图像筛选，从而减少搜图量，节省时间，但是传统matchTemplate算法对全图计算还是耗时极大，为了缩短耗时，以图搜图支持人工框选关键位置，根据框选的关键区域进行对比可以提升十几倍甚至上百倍性能，核心思路：搜索图片与目标图片通过黄金模板矫正得到中心偏移坐标，根据偏移坐标计算人工框选的关键区域坐标，使关键区域换算后的坐标在相应图像上的相对位置尽量相同，以便达到关键区域高效比对。

模板匹配顾名思义就是给定一幅影像(模板)然后在另一幅图像中寻找这个模板的操作。它是一种用来在一幅大图中寻找模板图像位置的方法。在OpenCV中有cv2.matchTemplate() 函数供我们方便调用。它的工作原理与2D卷积函数一样，将模板图像在输入图像(大图)上滑动，并且在每一个位置对模板图像和与其对应的输入图像的子区域进行比较。返回的结果是一个灰度图像，每一个像素值表示了此区域与模板的匹配程度。

匹配步骤 1.输入原图像(I)和模板图像(T)。在原图像中我们希望找到一块和模板匹配的区域。 2.通过将模板在原图像上滑动来寻找最匹配的区域。这里所谓的滑动是指模板图像块一次移动一个像素(从左往右，从上往下)。在每一个位置，都进行一次度量计算，来判断该像素对应的原图像的特定区域与模板图像的相似度。 3.对于模板T覆盖在I上的每个位置，把上一步计算的度量值保存在结果图像矩阵R中。在R中每个位置都包含对应的匹配度量值。 4.在结果图像矩阵中寻找最值(最大或最小，根据算法不同而不同)。最值所对应的像素的位置即认为是最高的匹配。以该点为顶点，长宽和模板大小图像一样的矩阵认为是匹配区域。在OpenCV中可以用cv2.minMaxLoc()函数获得最值坐标。