YOLO进化史：YOLOv5、YOLOv8 与 YOLOv10 的性能分析与边缘部署探讨！

集智书童公众号

发布于 2024-07-11 10:12:16

12K0

发布于 2024-07-11 10:12:16

文章被收录于专栏：集智书童

行业技术方案👉「AI安防、AI医疗、AI自动驾驶」

AI模型部署落地实战👉「CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平线框架」

欢迎扫描上方二维码，加入「集智书童-知识星球」，日常分享论文、学习笔记、问题解决方案、部署方案以及全栈式答疑，期待交流！

免责声明

凡本公众号注明“来源：XXX（非集智书童）”的作品，均转载自其它媒体，版权归原作者所有，如有侵权请联系我们删除，谢谢。

这篇论文全面回顾了YOLO（You Only Look Once）目标检测算法的发展历程，重点关注了YOLOv5、YOLOv8和YOLOv10。作者分析了这些版本在架构改进、性能提升以及适用于边缘部署方面的进展。YOLOv5引入了重要的创新，如CSPDarknet Backbone 网和Mosaic增强，平衡了速度和精度。YOLOv8在此基础上加强了特征提取和 Anchor-Free 点检测，提高了灵活性和性能。 YOLOv10代表了向前的一大步，无需NMS训练、空间通道解耦下采样和大核卷积，在减少计算开销的同时取得了最先进的性能。作者的发现突出了在准确度、效率和实时性能方面的逐步提升，特别是强调它们在资源受限环境中的应用性。这篇综述提供了模型复杂度与检测精度之间权衡的见解，为选择最适合特定边缘计算应用的YOLO版本提供了指导。

1 Introduction

YOLO（You Only Look Once）[1]系列彻底改变了实时目标检测，从其诞生以来，几乎推出了十几个变体。尽管YOLO有十多个版本，但YOLOv5[2]，YOLOv8[3]和YOLOv10[4]在边缘部署场景中尤其突出。这三种变体因其速度、准确性和效率的最佳平衡而受到关注，特别适合资源受限的环境。

由Ultralytics于2020年推出的YOLOv5在性能和易用性方面取得了重大飞跃，成为许多边缘计算应用的首选解决方案[2]。其人气的持续上升得益于其模块化设计，便于定制，并且能够将训练后的模型导出为ONNX、CoreML和TFLite等多种格式，便于在不同平台部署[2]。

YOLOv8在2023年发布，基于YOLOv5的成功，提供了更高的准确性和用于各种计算机视觉任务的统一框架[3]。它引入了 Anchor-Free 点检测，简化了模型架构，并提高了对小物体的性能，这在许多边缘部署场景中是一个关键因素。

最新的迭代YOLOv10进一步推动了边界，采用了减少计算开销的创新方法，同时保持了高准确性[4]。它融合了如无需NMS训练和整体模型设计等先进技术，特别适合计算资源有限的边缘设备。

这三个YOLO变体在受限制的边缘部署中变得普遍存在，主要原因有：

性能优化：它们在推理速度和检测准确性之间提供了卓越的平衡，这对于边缘设备上的实时应用至关重要。例如，YOLOv5s在V100 GPU上的推理时间为6.4ms，在COCO数据集上达到37.4 mAP[2]。
可伸缩性：每个变体都提供了针对架构深度的多个子变体，使开发行人能够为特定的硬件限制和性能需求选择最佳匹配。这从针对极端资源受限设备的nano模型到针对准确性敏感应用的超大型模型不等。
易于部署：这些模型配备了强大的工具和文档，便于集成到各种边缘计算平台中。YOLOv5的多格式导出能力和YOLOv8的统一API显著简化了部署过程。
持续改进：每个新版本都解决了前一代的局限性，融入了深度学习和计算机视觉的前沿技术。例如，YOLOv10的无NMS训练方法显著减少了推理时间，这是边缘部署中的一个关键因素。
社区支持：强大的社区支持和定期更新确保这些模型保持在目标检测技术的最前沿。这个广泛的社区还提供了丰富的资源、预训练模型和应用实例，进一步促进了它们在边缘场景中的采用。

本评论专注于YOLOv5、YOLOv8和YOLOv10，强调它们的关键进步，比较它们的性能指标，并讨论它们为何特别适合于各种实际应用的边缘部署。

2 YOLOv5

Glenn Jocher在YOLOv4[5]发布后不久推出了YOLOv5。YOLOv5在目标检测方面取得了重大进步，以其易用性、稳健的性能和灵活性而著称。这个版本引入了几项关键创新，使其在边缘部署场景中得到了广泛采用。

几项创新增强了YOLOv5在目标检测任务中的有效性。其核心是，YOLOv5嵌入了跨阶段部分（CSP）网络[6]，这是ResNet架构的一个变种。这种整合包括了CSP连接，提高了网络的效率并减少了计算需求。通过多个空间金字塔池化（SPP）块进一步优化了CSPNet，允许在不同尺度上进行特征提取。

架构的 Neck 特征采用了路径聚合网络（PAN）模块，并增加了上采样层以改善特征图的分辨率[7]。YOLOv5的 Head 是一系列卷积层，用于生成边界框和类别标签的预测。YOLOv5使用基于 Anchor 点的预测，将每个边界框与一组特定形状和大小的预定义 Anchor 框相连接。

损失函数计算涉及两个主要部分[8]。二进制交叉熵用于计算类别和目标性损失，而完整交并比（CIoU）用于衡量定位准确性。

模型变体：YOLOv5有几种尺寸（n、s、m、l、x），以适应不同的计算需求：

YOLOv5n（纳米版）：这个版本专为资源非常有限的环境设计。它具有最小的架构，使其适合在计算能力有限的设备上部署，如微控制器和低功耗的物联网设备。尽管它体积小，但保持了合理的准确度，使其适用于速度和效率至关重要的应用。
YOLOv5s（小型）：这个版本在性能和效率之间取得了平衡。它适合许多边缘应用，包括移动设备和嵌入式系统，这些设备具有适度的计算资源。YOLOv5s相对于纳米版提供了改进的准确度，同时仍然保持较低的计算占用。
YOLOv5m（中型）：这个版本提供了一个折中选择，在适度的计算要求下提供更好的准确度。它适合于需要更高精度但仍然需要在边缘设备限制下运行的应用。
YOLOv5l（大型）：这个模型专为需要高准确度的更复杂任务设计。它适合于边缘服务器和计算资源较少受限的更强大的嵌入式系统。
YOLOv5x（超大型）：最大的变体YOLOv5x提供最大准确度，适用于需要最高精度且计算资源丰富的场景。它适用于高分辨率视频分析和复杂的目标检测任务。

增强的训练和部署：YOLOv5在其训练和部署 Pipeline 中引入了几项改进：

简化的训练流程： YOLOv5采用基于PyTorch的框架[9]，这是广泛使用且文档齐全的。这使得研究行人和开发行人更容易理解、修改和扩展代码。训练流程设计得非常用户友好，清晰的文档和示例帮助用户快速入门。
与流行框架的集成： YOLOv5支持与TensorFlow、ONNX和其他框架[10]的集成。这增强了其多功能性，使其能够在各种应用和环境中被使用。能够将模型导出为不同格式确保了与各种部署平台的兼容性。
无缝部署： YOLOv5提供导出至ONNX、CoreML和TensorRT[11]的选项，便于在各种平台和硬件加速器之间部署。对于具有不同架构的边缘设备（如NVIDIA GPU[12]、Apple设备和其他专用硬件）来说，这一特性特别有价值。无缝部署能力确保模型能够轻松集成到生产环境中。

自动增强和马赛克增强： YOLOv5融入了先进的数据增强技术：

自动增强： 这种技术自动选择最佳的增强协议以提高模型的泛化能力。通过在训练期间实验不同的增强策略，自动增强帮助模型学习更鲁棒的特征，从而在未见数据上获得更好的性能[13]。这对于边缘应用尤为重要，因为模型可能会遇到各种环境和条件。
马赛克增强： 马赛克增强将四张训练图像组合成一张，使模型能够学习检测更小的物体，并提高其对不同尺度和长宽比的鲁棒性[14]。这种技术在处理包含多个物体的复杂场景时非常有用，这在现实世界的边缘应用中很常见。通过向模型展示一组多样化的训练示例，马赛克增强增强了其对新情况的泛化能力。

表1展示了在COCO数据集上各种YOLOv5模型的性能指标。YOLOv5模型用不同的字母（n、s、m、l和x）表示，代表它们的大小和复杂度。提供的指标包括输入大小、在不同IoU阈值下的平均精度（AP）、在CPU上的延迟、参数数量以及每秒浮点运算数（FLOPs）。

指标摘要

最小且最快的模型，输入大小为640像素。
达到COCO AP（val）28.0%和AP（val）50 45.7%。
CPU延迟为45毫秒。
包含190万个参数，需要45亿FLOPs。
比YOLOv5n稍大且稍慢。
达到COCO AP（val）37.4%和AP（val）50 56.8%。
CPU延迟为98毫秒。
包含720万个参数，需要165亿FLOPs。 * 较大的模型，性能有所提升。
达到COCO AP（val）49.0%和AP（val）50 67.3%。
CPU延迟为430毫秒。
包含4650万个参数，需要1091亿FLOPs。
YOLOv5系列中最大且最复杂的模型。
在COCO上达到50.7%的AP（验证）和68.9%的AP (val) 50。
CPU延迟为766毫秒。
包含8670万个参数，需要2057亿FLOPs。

3 YOLOv8

架构改进： YOLOv8融合了先进架构特性以增强特征提取和融合：

CSPDarknet 主干网络：
YOLOv8采用CSPDarknet主干网络的增强版[15]，将跨阶段部分（CSP）网络融入Darknet架构中。主要特性包括：
CSP 设计：
主干网络将每个阶段的特征图分成两部分。一部分经过密集卷积块处理，另一部分直接与密集块的输出进行拼接。这种设计在保持准确性的同时降低了计算复杂性。
主干网络由多个CSP块组成，每个块包含分割操作、密集块、过渡层和拼接操作。
激活函数：
YOLOv8使用高级激活函数如SiLU（Swish），代替Leaky ReLU，改进梯度流动和特征表现力。
这种设计降低了计算复杂性，增强了梯度流动，提高了特征复用，同时减少了模型大小，保持了高准确性，这些特性对于边缘部署特别有利，因为在边缘部署中计算资源通常有限。
PANet Neck 网络：
采用路径聚合网络（PANet）[16, 17] Neck 网络，以改善网络不同层次间的信息流和特征融合。主要方面包括：
PANet在特征金字塔网络（FPN）设计的基础上，增加了额外的自底向上的路径到传统的自顶向下路径。
它包括用于特征提取的自底向上的路径、用于语义特征传播的自顶向下的路径以及用于进一步特征层次增强的额外自底向上的路径。
特征融合：
在每个层次上，将来自相应自底向上和自顶向下路径的特征进行融合，通常通过逐元素加法或拼接。
自适应特征池化：
PANet引入自适应特征池化以增强多尺度特征融合，对每个感兴趣区域（RoI）从所有层次池化特征。
这种设计增强了不同特征层次间的信息流动，提高了网络检测不同尺度目标的能力，并提升了小目标检测的性能。这些改进对于边缘应用至关重要，因为在边缘应用中目标可能以不同的尺度和距离出现。

增强后处理：YOLOv8在提高预测准确性和效率的后处理技术方面进行了改进：* 改进的非最大值抑制（NMS）：YOLOv8采用了一种增强的NMS算法[18]，减少了假阳性数量并提高了目标检测的精确度。这是通过对重叠边界框的更好处理和最相关检测的选择优化来实现的。

** Anchor-Free 点检测Head**：与依赖预定义 Anchor 点框的传统YOLO模型不同，YOLOv8使用 Anchor-Free 点检测Head[19]。这简化了模型架构并减少了计算开销，从而加快了推理速度。 Anchor-Free 点方法还提高了模型检测小型和密集物体能力，这对边缘应用很有利。

训练效率：YOLOv8采用先进的训练技术提高效率和减少资源消耗：

混合精度训练：YOLOv8利用混合精度训练，结合16位和32位浮点运算。这种技术加快了训练过程，减少了内存使用，同时不牺牲模型精度。混合精度训练对于计算能力和内存有限的边缘设备特别有利。
超参数优化：YOLOv8包括自动超参数优化，调整模型的超参数以达到最佳性能。这个过程涉及运行多个具有不同超参数设置的训练实验，并选择最佳配置。自动超参数优化节省了时间，并确保模型在各种任务和数据集上表现良好。

附加特性：

C2f构建块：YOLOv8引入了C2f（跨阶段部分卷积与两种融合）构建块[20]，增强了特征提取和融合。这个块提高了模型捕获细粒度细节和复杂模式的能力，从而提高了检测准确性。
统一框架：YOLOv8为各种计算机视觉任务提供了一个统一框架，包括目标检测、实例分割和姿态估计。这种多功能性使其成为边缘应用中需要多种分析类型的强大工具。
导出选项：YOLOv8支持导出到多种格式，包括ONNX、CoreML和TensorRT，便于在不同平台和硬件加速器上部署[21]。这种灵活性确保了YOLOv8可以轻松集成到各种边缘计算环境中。

表2展示了在COCO数据集上各种YOLOv8模型的性能指标。YOLOv8模型用不同的字母（n、s、m、l和x）表示，代表它们的大小和复杂性。提供的指标包括输入大小、在不同IoU阈值下的平均精度（AP）、使用ONNX在CPU上的延迟、使用TensorRT在NVIDIA A100上的延迟以及每秒浮点运算（FLOPs）。

指标总结

YOLOv8系列包括从YOLOv8n到YOLOv8x的各种模型，每种模型都旨在在模型大小、计算效率和性能之间取得平衡。YOLOv8n是最小的模型，输入尺寸为640像素，在COCO AP（val）上达到37.3%的得分。它使用ONNX在CPU上的延迟为80.4毫秒，A100 TensorRT的延迟为0.99毫秒，计算需求总计达到87亿次FLOPs。
移到稍大的变体YOLOv8s，它获得更高的COCO AP（val）得分44.9%，同时在CPU上使用ONNX需要128.4毫秒，使用A100 TensorRT需要1.20毫秒，利用了286亿次FLOPs。
YOLOv8系列中的中等大小模型YOLOv8m，在COCO AP（val）上取得了显著的50.2%得分，ONNX CPU延迟为234.7毫秒，A100 TensorRT延迟为1.83毫秒。它推理所需的FLOPs为78.9亿次。从YOLOv8系列中小型模型到大型模型的这一进展，展示了在计算需求和延迟在各种部署场景中相应增加的同时，性能指标的不断提高。

4 YOLOv10

YOLOv10，由Wang等人于2024年提出[22]，在YOLO系列中代表了重要的进展，解决了先前版本的关键限制，同时引入了创新特性以提升性能和效率。这个最新迭代在目标检测中通过一系列架构和训练协议的优化，重点平衡了效率和准确度。

无需NMS的训练和推理: YOLOv10引入了一种新颖的方法，称为一致的双重分配，用于无需NMS的训练：

双重标签分配: YOLOv10在训练期间采用了一对多和一对一策略的组合。这种方法确保了训练与推理之间的一致性，在推理过程中无需进行非极大值抑制（NMS）。一对多分配允许每个真实值有多个预测，提高召回率；而一对一分配通过选择最佳预测确保精确度[23]。
减少延迟: 通过移除NMS步骤，YOLOv10显著减少了推理延迟，这对于实时应用和边缘部署至关重要[24]。这种延迟的减少对于需要立即响应的应用特别有益，如自动驾驶和实时监控。
端到端部署: 无需NMS的方法使得模型能够真正实现端到端的部署，简化了推理 Pipeline ，可能提高整个系统的效率[25]。这种简化的流程减少了将模型集成到各种系统中的复杂性，使其更适应不同的用例。

整体效率-准确度驱动的模型设计: YOLOv10优化了模型架构[22]的各个组成部分，以最小化计算开销同时提升性能：

轻量级分类头: YOLOv10中的分类头设计为轻量级，减少了分类过程中的计算冗余。这种优化确保了模型可以在不过度计算成本的情况下做出准确预测，使其适用于部署在资源有限的设备上。
空间-通道解耦下采样: 这种技术在下采样期间分离空间和通道信息，优化特征提取过程。通过解耦这些方面，模型可以更有效地处理输入数据，以更低的计算需求带来更好的性能。
排序引导的块设计: 排序引导的块设计简化了整体架构，提升了计算效率。这种设计使用排序信息来引导重要特征的选择，确保模型关注输入数据的最重要的方面。
大核卷积: YOLOv10采用了大核卷积，以提高模型捕获较大空间区域内详细特征的能力。这些卷积使模型能够更好地理解图像中目标上下文，提高检测准确度。
部分自注意力模块: 部分自注意力模块在增加极小额外计算成本的情况下提升了准确度。这个模块帮助模型关注输入数据中的相关特征，提高其准确检测和分类目标的能力。

提升模型能力: YOLOv10融合了多种先进技术以提升整体性能：

改进的小目标检测：与之前版本相比，YOLOv10在小目标检测方面显示出更强的能力。这种改进对于监控和医学成像等经常需要小目标检测的应用至关重要。
减少误报：该模型展示了更低的误预测率，提高了整体检测的可靠性。通过更好的特征提取和更准确的分类，实现了误报的减少。
置信度得分提升：YOLOv10对其预测的置信度得分更高，表明检测更可靠。更高的置信度得分意味着模型对其预测更加确定，这对于准确性至关重要的应用非常重要。
可伸缩性：YOLOv10提供了多种模型大小（n, s, m, l, x），以满足不同的计算需求和用例。这种可伸缩性确保了模型可以适应广泛的应用，从资源受限的边缘设备到高性能服务器。

表3全面比较了各种YOLOv10变体与其他最先进的检测器，突显了它们在多个关键指标上的性能。YOLOv10变体在速度、效率和准确性方面一致显示出显著优势，非常适合实时应用。

YOLOv10-N作为一个非常高效的模型，仅有230万个参数和6.7 GFLOPs，实现了39.5%的AP值。其延迟令人印象深刻地低至1.84毫秒，是所比较模型中速度最快的之一。

YOLOv10-S具有720万个参数和21.6 GFLOPs，实现了46.8%的AP值和2.49毫秒的延迟。它在模型复杂性和性能之间提供了平衡，保持了低延迟同时实现了高准确性。

YOLOv10-M拥有1540万个参数和59.1 GFLOPs，实现了51.3%的AP值。其延迟为4.74毫秒，与较小模型相比在准确性上有显著提升，同时仍确保相对较低的推理时间。

YOLOv10-L和YOLOv10-X在YOLOv10变体中表现出最高的性能。YOLOv10-L拥有2440万个参数和120.3 GFLOPs，实现了53.4%的AP值和7.28毫秒的延迟。YOLOv10-X拥有2950万个参数和160.4 GFLOPs，实现了54.4%的AP值和10.70毫秒的延迟。这些模型提供了最佳的准确性，使它们适用于对精确度要求严格的任务。

相比之下，YOLOv10变体在延迟和准确度方面都超过了YOLOv8对应版本。例如，YOLOv10-L在7.28毫秒的延迟下达到53.4%的AP，而YOLOv8-L在12.39毫秒的延迟下达到52.9%的AP。YOLOv10变体在计算效率和准确度指标方面优于其他领先检测器。它们的表现使它们成为现代计算机视觉应用中的尖端解决方案，尤其是在需要实时处理和高准确度的地方。

5 Comparative Analysis of YOLOv5, YOLOv8, and YOLOv10

第五部分：YOLOv5、YOLOv8和YOLOv10的对比分析开始。

Architectural Features Comparison

从YOLOv5到YOLOv10的架构演变展示了目标检测网络设计方面的重大进步。表4对这些版本的关键架构特性进行了全面比较。

5.1.1 Backbone Evolution

YOLOv5: 引入了CSPDarknet，将跨阶段部分网络整合以平衡计算成本和准确度。YOLOv8: 对CSPDarknet进行了增强，改进了特征提取能力，可能融入了更高效的卷积操作和优化的通道配置。YOLOv10: 进一步优化了CSPDarknet，可能融入了如排序引导的块设计等技术以实现更高效的特征提取。

5.1.2 Neck Architecture

YOLOv5： 利用PANet（路径聚合网络）进行有效的多尺度特征融合。YOLOv8： 改进了PANet，可能增强了跳跃连接或特征聚合方法。YOLOv10： 在PANet中引入了效率优化，可能融合了空间-通道解耦操作，以实现更有效的特征传播。

5.1.3 Detection Head Design

YOLOv5: 采用了一种基于 Anchor 点的方法，预定义 Anchor 框进行目标检测。YOLOv8: 转变为 Anchor-Free 点设计，简化了检测过程，并可能提高对小目标的性能。YOLOv10: 进步到具有双重分配的 Anchor-Free 点设计，实现了无需NMS的训练和推理。

5.1.4 Non-Maximum Suppression (NMS)

YOLOv5和YOLOv8：需要使用NMS作为后处理步骤来过滤冗余的检测。 YOLOv10：引入了无需NMS的训练和推理，大幅减少了部署过程中的计算开销和延迟。

5.1.5 激活函数

YOLOv5：使用了Leaky ReLU，这是深度学习模型中的一个常见选择。 YOLOv8：采用了SiLU（Swish）激活函数，以其平滑的梯度以及可能的性能优势而闻名。

5.1.6 Feature Pyramid Network (FPN)

YOLOv5：采用标准FPN进行多尺度特征表示。 YOLOv8：修改了FPN，可能改进了侧向连接或特征融合策略。 YOLOv10：通过空间通道解耦增强了FPN，可能使得多尺度特征处理更加高效和有效。

5.1.7 Loss Function

YOLOv5： 使用了CIoU（完全交并比）损失，平衡了边界框回归和分类。YOLOv8： 引入了针对特定任务损失的优化，针对不同的计算机视觉任务提升性能。YOLOv10： 开发了Consistent Dual Assignment损失，与其无需NMS的训练方法保持一致，并可能提高整体检测准确度。

5.1.8 Data Augmentation

YOLOv5：实施了Mosaic和Cutout增强技术，提高了模型的鲁棒性。 YOLOv8：将Mixup添加到增强流程中，进一步提升了泛化能力。

5.1.9 Training Strategy

YOLOv5和YOLOv8：采用了单阶段训练，这是YOLO模型的典型特点。 YOLOv10：采用了两阶段训练方法，具有双重分配，可能允许更精细的特征学习和提高检测性能。

从YOLOv5到YOLOv10的架构演变显示出明确的发展趋势，即更高效、更准确和更适合部署的设计。特别是YOLOv10引入了多项创新功能，如无需NMS的训练和空间通道解耦，这对于边缘部署场景尤为有益。这些进步共同提高了准确性，减少了计算开销，并在各种部署环境中增强了实时性能。

6 Conclusion

YOLO（You Only Look Once）系列从YOLOv5发展到YOLOv10的演变代表了实时目标检测领域创新和改进的非凡历程。每个版本都在架构、性能和部署能力上引入了重大进步，使YOLO系列成为计算机视觉领域的一个重要基石，特别是在边缘部署场景中。

Performance and Accuracy

YOLOv5、YOLOv8和YOLOv10的性能指标展现出准确性及效率不断提高的清晰趋势。YOLOv5以其CSPDarknet主干网络和PANet Neck 结构，为速度与准确性的平衡奠定了坚实基础。YOLOv8在此基础之上，通过增强CSPDarknet主干网络并引入了 Anchor-Free 点检测Head，简化了检测过程并提高了对小物体的检测性能。YOLOv10进一步采用了无需NMS（非极大值抑制）的训练和推理，显著降低了延迟并提升了实时性能。YOLOv10中引入的空间-通道解耦降采样和排序引导的块设计优化了特征提取过程，使得在参数和计算开销较少的情况下获得更高的准确度。性能指标清楚地表明，YOLOv10在其前代基础上实现了超越，特别是在较小模型上，使其非常适合边缘部署，在这种场景下准确性和效率都至关重要。