悟空云AI算法中心负责人房杰：道路裂隙检测的新边缘扩展策略

由陕西悟空云信息技术有限公司AI算法中心负责人房杰博士和长安大学公路学院助理教授赵阳博士等提交到IEEE Transactions Intelligent Transportation Systems（IEEE T-ITS）上的长文“External Attention Based TransUNet and Label Expansion Strategy for Crack Detection”经严格同行评议，获小修接收审稿意见，现处校稿阶段。IEEE T-ITS是智能交通领域Top期刊（中科院分区：Q1），影响因子6.492。

引言

裂缝检测是道路维护不可或缺的前提，其可以为多种道路损伤提供预警信息，从而在很大程度上降低维护成本。因其安全性和便捷性，很多基于图像处理的裂缝检测方法相继被提出，但由于图像复杂的纹理结构和严重的类别不平衡问题，现行方法很难满足实际应用需求。为了解决该问题，作者提出一种基于外部注意力引导网络和标签扩展策略的裂缝检测系统，其以TransUNet为主干，并将外部注意力机制纳入系统框架来增强网络的结构化特征编码能力。具体来讲，TransUNet中的跨层连接机制能够将浅层网络的纹理细节信息传递到对应的深层网络，而其Transformer模块能够对图像不同区域之间的交互关系进行有效刻画。另外，作者将外部注意力模块加入到编码网络末端和解码网络初端，用以增强对不同图像裂缝区域之间的相互依赖关系的刻画，进而提升系统对不同图像的鲁棒性和适应性。最后，作者结合Focal Loss提出一种边缘扩展策略，用以降低因训练样本中裂缝和非裂缝区域样本量的严重不均衡所导致的模型坍塌问题。作者通过在不同数据集上的大量实验，验证了其方法的有效性。

算法框架

文章算法框架如图1所示

图1. 基于注意力引到网络和标签扩展策略的裂缝检测系统流程图

该方法的执行流程分为以下几个步骤

（1） 多尺度滤波（中值滤波）融合，用以保证在保留裂缝纹理结构信息的同时消除噪声等干扰因素的影响。

（2） 主干网络推理，通过跨层连接、Transformer交互感知和外部注意力跨图像感知，提升模型对图像裂缝信息的挖掘能力以及检测系统的稳定性。

（3） 扩展标签优化，通过将裂缝区域邻域内非裂缝样本标签转化为裂缝标签类，提高裂缝样本占比，结合Focal Loss的加权惩罚策略，用以减轻因类别样本严重不平衡而导致的模型坍塌问题。

实验结果

本文方法部分实验结果如表1、表2和图2所示.

表1. 不同方法在3个公开数据集上的量化

从表1可以看出，本文方法在3个公开数据集上都取得了最好的结果（以为主要参考依据），由此可见本文方法的优越性。另外，为了验证本文所提不同模块的有效性，作者在Cracktree200数据集上进行了消融实验，实验结果如表2所示。

表2. 本文所提方法在Cracktree200数据

从表2可以看出， Transformer模块、外部注意力模块、标签扩展策略和多尺度滤波融合都能在一定程度上提高系统的检测性能。具体来讲，Transformer模块和外部注意力模块能够有效加强网络对图像结构信息的刻画能力、标签扩展策略能够在一定程度上解决由于样本严重不均衡导致的模型坍塌问题，而多尺度滤波融合策略则能够有效降低随机噪声等干扰因素对检测结果的影响。

图2. 本文方法在实际拍摄数据集CrackPV

从图2可以看出，本文方法在实际应用场景中能够有效避免车道线等干扰因素的影响，另外其对光线变化也有较强的鲁棒性，能够适应不同场景的应用需求。

前景

除了裂缝检测，本文所提方法也能够扩展到医学图像解析、高精度工业损伤检测等领域，以达到降低人力成本、提高生产效率的目的。

陕西悟空云信息技术有限公司以该项研究为依托，正积极申报工信部2021年人工智能产业创新任务揭榜挂帅项目，以期获取更多支持和关注。