YOLO半自动标注技术助力铁路检测，人工标注时间骤降80%！

论文题目： A YOLO-Based Semi-Automated Labeling Approach to Improve Fault Detection Efficiency in Railroad Videos 论文链接： https://arxiv.org/pdf/2504.01010v1

一、摘要

大规模图像和视频数据集的人工标注通常耗时、易错且成本高昂，这成为铁路视频故障检测中机器学习工作流的主要瓶颈。本研究提出一种半自动化标注方法，利用预训练的YOLO（You Only Look Once）模型优化标注流程，提升铁路视频故障检测精度。通过以小规模人工标注数据为起点，该方法通过迭代训练YOLO模型，利用每轮输出提升模型精度，逐步减少人工干预需求。

为便于修正模型预测结果，我们开发了将YOLO检测数据导出为可编辑文本文件的系统，可在检测结果需要优化时快速调整。该方法将单张图像标注时间从平均2-4分钟缩短至30秒-2分钟，显著降低人工成本与标注错误。与付费平台的高成本AI标注方案不同，本方法为故障检测及其他基于检测的机器学习应用提供了经济高效的大规模数据处理方案。

二、引言

YOLO等基于检测的模型发展迅速且精度不断提升，但其训练过程仍存在耗时费力、数据准备阶段易引入人工误差等问题。现有AI辅助功能虽能加速训练，但成本高昂限制了资源有限的研究者的使用。研究表明，引入辅助标注可显著提升精度——Gregorio等通过半自动化标注实现了15%的准确率提升。本研究提出一种经济高效的替代方案，并应用于铁路系统故障检测，重点关注道砟不足（铁轨间碎石缺失）和植物侵限两类隐患，这些故障可能引发铁路运营中断与安全隐患。

铁路故障检测研究随AI技术进步不断发展。轨道结构失效是铁路系统故障的主因，现有检测流程已从人工转向自动化系统，但多数研究集中于钢轨裂纹或结构缺陷检测。道砟不足与植物侵限因视觉特征复杂且细微，检测面临独特挑战。在初期模型训练中，我们遇到标注与训练流程冗长的问题。为此开发的算法在提升精度的同时大幅缩短训练时间。本文通过对比纯人工标注数据集与采用新算法的数据集验证效果，并阐述该方法对铁路故障检测及其他领域的应用价值。

三、问题描述

YOLO作为实时目标检测模型，通过单次卷积神经网络前向传播实现多目标分类。训练YOLO模型需要大规模多样化数据集以确保高精度与鲁棒性。例如使用超10,000张图像成功训练模型，体现了数据规模的重要性。

但数据集准备面临标注工作的重大挑战——每张图像需标注边界框和类别标签，该过程既耗时又易受人工误差影响。标注不一致会降低YOLO模型的F1分数与平均精度（mAP）。当检测目标定义存在主观性（如"道砟不足"）时，标注难度进一步加剧。

辅助标注技术通过算法工具减少人工误差、提升标注一致性，不仅能加速数据准备，还能提高标注质量。我们在实验室训练YOLO模型时发现，初始模型的F1分数与mAP值不理想，促使我们探索辅助标注算法。该算法通过确保初始标注准确性，使模型能用更少数据提取更优特征。

本研究选用YOLOv8模型，因其在轨道检测中表现优异。该方法的适用性不仅限于铁路领域，有效的辅助标注算法可推动工业检测、实时目标检测等广泛应用的模型训练效率。

四、标签提取

训练完成的模型会读取指定目录图像并输出标签文件。标签文件包含每个检测框的中心坐标(x,y)、宽高及类别ID。我们开发了代码将检测结果转换为标注软件可编辑的格式，并创建包含类别ID与名称的标签映射文件。模型标注100张未标注图像仅需5秒。

标注软件中可便捷调整标签，修改结果自动保存为YOLO兼容格式。标签提取流程集成于每轮未标注图像检测中，形成高效工作流。

五、算法设计

获取数据集后，需要由人工标注者对数据集中的一小部分图像进行人工标注。在训练基础 YOLO模型时，这一初始步骤至关重要，因为它提供了启动学习过程所需的基础标记数据。标注数据是模型理解输入图像与其相应输出（如边界框和类标签）之间关系的基本事实。

在对图像进行标记后，YOLO模型就可以使用这个注释子集进行训练。在这一阶段，模型学会识别模式、提取特征，并预测训练图像中对象的标签。训练完成后，模型将被部署到数据集中，为下一批图像贴标签。这一标注过程是渐进式的，确保模型在越来越大的数据集上逐步完善其性能。通过迭代改进模型的预测，减少了后续周期中需要的人工调整，最终提高了效率。

每次迭代时，都会使用标注软件对模型对新一批图像的预测进行审核和修正。然后将这些修正后的标签整合到现有的标注数据集中，从而扩展训练集，为模型提供更多的改进实例。更新后的标注数据集用于重新训练YOLO模型，进一步提高其准确性和鲁棒性。

随着数据集的增长，模型接触到的样本范围越来越广，其检测能力也会显著提高。这种渐进式增强对于像YOLO这样的深度学习模型来说至关重要，因为这种模型需要大量的、有良好注释的数据集才能茁壮成长。这种渐进式训练方法不仅减少了人工审核所需的时间，还确保模型能够更好地处理数据中的边缘情况和异常值。

如果你也想要感受辅助标注或者进行模型训练，Coovally平台满足你的要求！

支持自动根据已标注样本训练模型和辅助标注；并且还提供了多种快捷标注，如：粘贴标注、预标注等。用户可以使用本人已部署的模型预标样本集图片、可以批量粘贴标注框到图片、预标部分标签物体也统统可以实现。

动图封面

Coovally平台整合了国内外开源社区1000+模型算法和各类公开识别数据集，无论是YOLO系列模型还是Transformer系列视觉模型算法，平台全部包含，均可一键下载助力实验研究与产业应用。

而且在该平台上，无需配置环境、修改配置文件等繁琐操作，一键上传数据集，使用模型进行训练与结果预测，全程高速零代码！

动图封面

具体操作步骤可参考：YOLO11全解析：从原理到实战，全流程体验下一代目标检测

平台链接：https://www.coovally.com

如果你想要另外的模型算法和数据集，欢迎后台或评论区留言，我们找到后会第一时间与您分享！

六、实验结果

数据集

采用开源铁路轨道数据集，含400张俯视角图像，检测目标为道砟不足与植物侵限。通过翻转（水平）、旋转（±15°）、剪切（±10°）等数据增强技术（表1），将原始图像从100张扩增至1018张（表2）。

从表2中可以看出，通过数据扩增，我们可以大量增加训练中使用的图像数量。将其与算法1和图1中的算法相结合，我们就能优化训练模型的效率和准确性。

结果评估

YOLOv8模型可以通过mAP值和F1分数进行客观评估。mAP（平均精度）将边界框与模型检测进行比较，并返回一个分数，准确的模型具有较高的mAP值是至关重要的。mAP值使用公式 (1) 计算。F1分数是一种更全面的评估方法，由精确度和召回率计算得出。F1分数通过公式 (2) 计算得出。

0.5时的mAP是0.5个阈值时的平均精确度，0.9时的mAP是0.9个阈值时的平均精确度。在等式 (1) 中，N代表类的数量，PA是召回率和精度绘制曲线时曲线下面积的数值。召回率是指模型识别假阳性检测的能力。一个准确的模型必须具有较高的召回率。因此，有了精确度和召回率，F1分数将成为模型的主要评估方法。

比较模型得分与辅助标注

100张图像集是没有辅助标注的初始集。如图2所示，由于数据量小且没有辅助标注，F1分数并不理想。从图2中还可以看出，得分有些不稳定。

如图3所示，在第一次实施辅助标注后，模型的得分和稳定性有了初步提高。辅助标注额外增加的100张标注图像所花费的时间也大大减少。

从图4和图5中可以看出，每增加100张图像也是如此。我们还可以看到，曲线的稳定性随着每次辅助标注的实施而提高，这表明随着算法的不断改进，模型的准确性也在不断提高。将100幅图像集与400幅图像集进行比较，总得分从0.81提高到0.87。随着数据量的增加，模型也会不断改进。

与无辅助标记模型的结果比较

在另一项比较中，我们将把该模型与另一个无辅助标记的模型进行比较。该模型共有400幅图像，应用了与表1相同的增强功能。如图6所示，该模型的F1分数为0.71，明显不稳定。与无辅助模型相比，辅助模型的质量有了显著提高。必须指出的是，无辅助模型在标注过程中可能存在相当程度的人为错误。不过，这也凸显了该算法的另一个重要特点，即辅助标注的早期实施有助于从早期阶段就减少训练中的人为错误。辅助标注效果的一个难点在于模型的训练时间。手动标注每张图像需要花费大量时间。完全标注无辅助模型大约需要10个小时。而训练辅助模型大约需要4-5个小时。这表明训练过程大大减少了时间和人力。

图7显示了使用400图像模型检测未标记图像的输出示例。就我们使用该模型的目的而言，这是一个可以接受的输出结果。然而，图7显示了识别压载不足的复杂性。我们很难准确定义什么是压载不足。不过，模型的输出结果与初始标注数据非常相似，这意味着检测结果是准确的。表3是模型及其各自F1分数的汇总。

辅助标注方法的有效性

F1分数是评估模型效能的关键指标。如表III所示，随着数据集的扩展，辅助标注算法在每次迭代中都能提升准确率。这种渐进式改进源于模型通过增加训练数据不断优化预测结果。F1分数的上升也意味着人工错误的减少，因为错误标注数据会损害模型性能。

在涉及YOLO模型训练的大多数研究中，人工标注是标准技术。虽然这种方法能保证高质量的标注，但其耗时耗力成本高昂。本研究提出的算法虽然保留了人工标注环节，但与全数据集标注相比，所需劳动力显著降低。

尽管实验结果证明了该方法对模型训练的积极意义，但算法性能依赖于初始标注图像的质量。若起始数据存在错误标注，模型准确率将受到负面影响。

七、结论

本研究提出了一种前景广阔的辅助标注技术，可同时提升机器学习模型的训练速度和精度。通过采用该算法，我们观察到每次训练迭代中F1分数持续提升，同时标注流程效率逐步提高。该方法能更准确高效地检测各类铁路故障，并可无缝集成至任何YOLO检测框架。

未来工作将重点开发置信度调节系统，使模型能根据迭代过程中精度的提升动态减少人工干预需求。此项改进将大幅降低人力成本并进一步缩短训练时间。此外，我们将通过获取针对性更强的道砟缺失专业数据集来优化模型，预计此举将推动性能指标的进一步突破。