Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >黑夜/光线差的场景中目标检测痛点可以缓解

黑夜/光线差的场景中目标检测痛点可以缓解

作者头像
计算机视觉研究院
发布于 2023-08-24 01:38:57
发布于 2023-08-24 01:38:57
6370
举报

计算机视觉研究院专栏

Column of Computer Vision Institute

目前的目标检测模型在许多基准数据集上都取得了良好的效果,在夜晚或者黑暗条件下检测目标仍然是一个巨大的挑战。

01

简介

为了解决这个问题,有研究者提出了一个金字塔增强网络(pyramid enhanced network,PENet),并将其与YOLOv3结合起来,构建了一个名为PE-YOLO的暗目标检测框架。首先,PENet使用拉普拉斯金字塔将图像分解为不同分辨率的四个分量。

具体来说,提出了一个细节处理模块( detail processing module,DPM)来增强图像的细节,该模块由上下文分支和边缘分支组成。此外,还提出了一种低频增强滤波器(LEF)来捕获低频语义并防止高频噪声。PE-YOLO采用端到端联合训练方法,仅使用正常检测损失来简化训练过程。在弱光物体检测数据集ExDark上进行了实验,以证明新框架的有效性。结果表明,与其他暗探测器和弱光增强模型相比,PE-YOLO的mAP和FPS分别达到78.0%和53.6%,能够适应不同弱光条件下的物体检测。

02

背景

近年来,卷积神经网络的出现促进了目标检测的发展。已经提出了大量的检测器,并且基准数据集的性能得到了较好的结果。然而,大多数现有的探测器都是在正常条件下在高质量图像中进行研究的。在真实环境中,经常存在许多恶劣的照明条件,如夜间、暗光和曝光,因此图像质量的降低影响了检测器的性能。视觉感知模型使自动系统能够理解环境,并为后续任务(如轨迹规划)奠定基础,这需要稳健的目标检测或语义分割模型。下图是暗物体检测的示例。可以发现,如果对图像进行适当的增强,并根据环境条件恢复更多原始模糊目标的潜在信息,则目标检测模型能够适应不同的弱光条件,这在模型的实际应用中也是一个巨大的挑战。

目前,已经提出了许多方法来解决暗场景中的鲁棒性问题。已经提出了许多微光增强模型来恢复图像细节并减少不良照明条件的影响。然而,微光增强模型结构复杂,不利于检测器在图像增强后的实时性能。这些方法中的大多数不能用检测器进行端到端训练,并且需要对成对的微光图像和正常图像进行监督学习。弱光条件下的物体检测也可以被视为一个领域自适应问题。

一些研究人员使用对抗性学习将模型从正常光转换为暗光。但他们专注于匹配数据分布,忽略了低光图像中包含的潜在信息。在过去的几年里,一些研究人员提出了使用可微分图像处理(DIP)模块来增强图像并以端到端的方式训练检测器的方法。然而,DIP是传统的方法,如白平衡,对图像的增强效果有限。

弱光增强

微光增强任务的目标是通过恢复图像细节和校正颜色失真来改善人类视觉感知,并为诸如物体检测之类的高级视觉任务提供高质量的图像。[Kindling the darkness: A practical low-light image enhancer]提出了Kind,它可以通过具有不同照明水平的成对图像进行训练,而不需要地面实况。[Zero-reference deep curve estimation for low-light image enhancement]提出了Zero DCE,它将微光增强任务转化为图像特定的曲线估计问题。[Low-light image/video enhancement using cnns]提出了一种多分支微光增强网络(MBLLEN),该网络提取不同层次的特征,并通过多分支融合生成输出图像。[You only need 90k parameters to adapt light: a light weight transformer for image enhancement and exposure correction]提出了一种照明自适应变换器(IAT),通过动态查询学习构建端到端变换器。在弱光增强模型恢复图像细节后,检测器的效果得到了改善。然而,大多数微光增强模型都很复杂,对探测器的实时性能有很大影响。

不利条件下的目标检测

不利条件下的目标检测对于机器人的鲁棒感知至关重要,针对一些不利条件出现了鲁棒目标检测模型。有些人通过无监督的域自适应将检测器从源域转移到目标域,使模型适应恶劣的环境。[Image-adaptive yolo for object detection in adverse weather conditions]提出了IA-YOLO,它自适应地增强每个图像以提高检测性能。他们提出了一种适用于恶劣天气的可微分图像处理(DIP)模块,并使用小型卷积神经网络(CNN-P)来调整DIP的参数。在IA-YOLO的基础上,[Gdip: Gated differentiable image processing for object-detection in adverse conditions]提出了GDIP-YOLO。GDIP提出了一种门控机制,允许多个DIP并行操作。[Denet: Detection-driven enhancement network for object detection under adverse weather conditions]提出将检测驱动增强网络(DENet)用于恶劣天气条件下的目标检测。[Multitask aet with orthogonal tangent regularity for dark object detection]提出了一种用于暗物体检测的多任务自动编码变换(MAET),探索了光照转换背后的潜在空间。

03

新框架详解

由于低光干扰,暗图像的可见性较差,这影响了检测器的性能。为了解决这个问题,提出了一种金字塔增强网络(PENet)和联合YOLOv3来构建暗对象检测框架PE-YOLO。PE-YOLO的框架概述如下图所示。

通过拉普拉斯金字塔获得了四个不同尺度的分量,如下图所示。

发现拉普拉斯金字塔自下而上更关注全局信息,而相反,它更关注局部细节。它们都是在图像下采样过程中丢失的信息,这也是PENet增强的对象。通过细节处理模块(DPM)和低频增强滤波器(LEF)来增强组件,并且DPM和LEF的操作是并行的。通过对拉普拉斯金字塔进行分解和重构,可以使PENet变得轻便有效,这有助于提高PE-YOLO的性能。

细节增强

提出了一个细节处理模块(DPM)来增强拉普拉斯金字塔中的组件,该模块分为上下文分支和边缘分支。DPM的详细信息如下图所示。上下文分支通过捕获远程依赖关系来获取上下文信息,并对组件进行全局增强。边缘分支使用两个不同方向的Sobel算子来计算图像梯度,以获得边缘并增强组件的纹理。

低频增强滤波器

在每个尺度分量中,低频分量具有图像中的大部分语义信息,它们是检测器预测的关键信息。为了丰富重构图像的语义,提出了低频增强滤波器(LEF)来捕获分量中的低频信息。LEF的细节如下图所示。

假设分量f∈Rh×w×3,首先通过卷积层将其变换为f ∈ Rh×w×32。使用动态低通滤波器来捕获低频信息,并使用平均池进行特征滤波,这只允许低于截止频率的信息通过。不同语义的低频阈值是不同的。考虑到Inception的多尺度结构,使用了大小为1×1、2×2、3×3、6×6的自适应平均池化,并在每个尺度的末尾使用上采样来恢复特征的原始大小。在不同内核大小的平均池化下形成低通滤波器。通过通道分离将fin分为四个部分,即{f1,f2,f3,f4}。

04

实验及可视化

PE-YOLO和微光增强型之间的性能比较。它显示了每个类别中的mAP和AP。粗体数字在每列中得分最高。

可视化了不同弱光增强模型的检测结果,如上图所示。我们发现,尽管MBLLEN和Zero DCE可以显著提高图像的亮度,但它们也会放大图像中的噪声。PE-YOLO主要捕捉低光图像中物体的潜在信息,同时抑制高频成分中的噪声,因此PE-YOLO具有更好的检测性能。

将PE-YOLO的性能与其他暗探测器进行了比较。此外,可视化了暗探测器和PE-YOLO的检测结果,如上图所示。这清楚地表明PE-YOLO在物体检测中更准确。与使用LOL数据集预训练的DENet和IAT-YOLO相比,PE-YOLO在mAP中分别高0.7%和0.2%,并且PE-YOLO在FPS上几乎也是最高的。上述数据表明,PE-YOLO更适合在黑暗条件下检测物体。

转载请联系本公众号获得授权

往期推荐

🔗

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-08-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 计算机视觉战队 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
中科大提出PE-YOLO | 让YOLO家族算法直击黑夜目标检测
近年来,卷积神经网络(CNN)的出现推动了目标检测领域的发展。大量的检测器被提出,针对基准数据集的性能也取得了令人满意的结果。然而,大多数现有的检测器都是在高质量图像和正常条件下进行研究的。而在实际环境中,往往存在许多恶劣的光照条件,如夜晚、暗光和曝光不足,导致图像质量下降,从而影响了检测器的性能。视觉感知模型使得自动系统能够理解环境并为后续任务(如轨迹规划)奠定基础,这需要一个稳健的目标检测或语义分割模型。
公众号-arXiv每日学术速递
2023/08/26
6090
中科大提出PE-YOLO | 让YOLO家族算法直击黑夜目标检测
CVPR2021:IoU优化——在Anchor-Free中提升目标检测精度(附源码)
目前的anchor-free目标检测器非常简单和有效,但缺乏精确的标签分配方法,这限制了它们与经典的基于Anchor的模型竞争的潜力,这些模型由基于IoU度量的精心设计的分配方法支持。
计算机视觉研究院
2021/07/09
6660
20年的目标检测大综述(章节2)
今天我们接着上次综述章节1继续来大家来说说,本次主要说说20年内的目标检测,感谢大家的关注与支持。
计算机视觉研究院
2020/03/04
9070
CVPR:IoU优化——在Anchor-Free中提升目标检测精度(附源码)
计算机视觉研究院专栏 作者:Edison_G 目前的anchor-free目标检测器非常简单和有效,但缺乏精确的标签分配方法,这限制了它们与经典的基于Anchor的模型竞争的潜力 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 1 简要 目前的anchor-free目标检测器非常简单和有效,但缺乏精确的标签分配方法,这限制了它们与经典的基于Anchor的模型竞争的潜力,这些模型由基于IoU度量的精心设计的分配方法支持。 今天分享中,研究者提出了伪IoU:一个简单的度量
计算机视觉研究院
2022/06/20
7310
CVPR:IoU优化——在Anchor-Free中提升目标检测精度(附源码)
YOLOv8-QSD: 革新自动驾驶视觉感知的小目标检测算法
YOLOv8-QSD是一种为了提高自动驾驶车辆在复杂交通环境中检测小物体的准确性和速度而设计的改进型算法。它基于YOLOv8,并采用结构重参数化技术优化了多样化分支块(DBB)模型。YOLOv8-QSD通过双向特征金字塔网络(BiFPN)集成了多尺度特征,并引入了基于查询的模型和新的管道结构来解决长距离检测的挑战。在SODA-A数据集上的测试结果显示,YOLOv8-QSD在速度和准确性方面均优于YOLOv8,准确率达到64.5%,计算需求降低了7.1 GFLOPs。
是Dream呀
2025/03/16
2770
YOLOv8-QSD: 革新自动驾驶视觉感知的小目标检测算法
图像自适应YOLO:模糊环境下的目标检测(附源代码)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文获取|回复“IAYOLO”获取paper 源代码:https://github.com/wenyyu/ImageAdaptive-YOLO 计算机视觉研究院专栏 作者:Edison_G 最近开车发现雾天和晚上视线不是很清楚,让我联想到计算机视觉领域,是不是也是因为这种环境情况,导致最终的模型检测效果不好。最近正好看了一篇文章,说恶劣天气下的目标检测,接下来我们一起深入了解下。
计算机视觉研究院
2022/03/08
1.9K0
计算机视觉研究院出品:目标检测的细节,你到底知道多少?
现在目标检测大部分就是如上图案例,针对较大目标还是可以精确检测到,然后利用检测到的物体进行下一步的输入,每个行业的场景使用不同,所以检测也是视觉的基石!
计算机视觉研究院
2022/01/25
5180
计算机视觉研究院出品:目标检测的细节,你到底知道多少?
改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!
本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。
集智书童公众号
2021/12/22
1.7K0
改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!
目标检测二十年间的那些事儿——从传统方法到深度学习
本文主要参考自文献[1]:Zhengxia Zou, Zhenwei Shi, Member, IEEE, Yuhong Guo, and Jieping Ye, Object Detection in 20 Years: A Survey Senior Member, IEEE
公众号机器学习与AI生成创作
2020/09/14
1.4K0
目标检测二十年间的那些事儿——从传统方法到深度学习
恶劣天气下的目标检测
1、Object Detection in Fog Degraded Images
狼啸风云
2021/05/19
3.6K0
CEH-YOLO:基于 YOLO 的水下目标检测复合增强模型
相关研究提出一种基于 YOLO 的水下图像目标检测方法,引入一种改进的无锚点 YOLO 检测方法,将检测特征与识别特征分离,以减少特征间的相互干扰,提高检测精度。还提出一种基于 Retinex 的图像增强算法用于水下图像增强,并通过在水下数据集上的相关实验,验证了增强型 YOLO 检测方法的有效性。
计算机视觉研究院
2025/02/07
3990
CEH-YOLO:基于 YOLO 的水下目标检测复合增强模型
图像自适应YOLO:恶劣天气下的目标检测
尽管基于深度学习的目标检测方法在传统数据集上取得了可喜的结果,但从恶劣天气条件下捕获的低质量图像中定位目标仍然具有挑战性。现有方法要么难以平衡图像增强和目标检测的任务,要么经常忽略对检测有益的潜在信息。
计算机视觉研究院
2022/01/27
2.1K0
图像自适应YOLO:恶劣天气下的目标检测
改进的检测算法:用于高分辨率光学遥感图像目标检测
目标检测对光学遥感图像的解释至关重要,可以作为研究利用遥感的其他视觉任务的基础。然而,目前在光学遥感图像中使用的目标检测网络没有充分利用特征金字塔的输出,因此仍有改进检测的潜力。
计算机视觉研究院
2023/08/23
8160
改进的检测算法:用于高分辨率光学遥感图像目标检测
CVPR 2022 Oral | 目标检测新工作!南大开源AdaMixer:快速收敛的基于查询的目标检测器
AdaMixer: A Fast-Converging Query-Based Object Detector
Amusi
2022/04/18
1.2K0
CVPR 2022 Oral | 目标检测新工作!南大开源AdaMixer:快速收敛的基于查询的目标检测器
目标检测算法之FPN
前面已经讲解完了RCNN系列的三篇论文,目标检测项目也基本可以跑起来了。今天要讲的FPN也是Two Stage目标检测算法中非常值得推敲的论文,它进一步优化了Faster-RCNN,使得对小目标的检测效果更好,所以一起来看看吧。
BBuf
2019/12/04
1.1K0
目标检测算法之FPN
在目标检测中如何解决小目标的问题?
在深度学习目标检测中,特别是人脸检测中,由于分辨率低、图像模糊、信息少、噪声多,小目标和小人脸的检测一直是一个实用和常见的难点问题。然而,在过去几年的发展中,也出现了一些提高小目标检测性能的解决方案。本文将对这些方法进行分析、整理和总结。
公众号机器学习与AI生成创作
2021/04/30
1.6K0
在目标检测中如何解决小目标的问题?
SuperYOLO:多模态遥感图像中的超分辨率辅助目标检测(附源代码)
源码地址:https://github.com/icey-zhang/SuperYOLO
计算机视觉研究院
2024/03/13
3.2K0
SuperYOLO:多模态遥感图像中的超分辨率辅助目标检测(附源代码)
目标检测 | 解决小目标检测!多尺度方法汇总
最开始在深度学习方法流行之前,对于不同尺度的目标,大家普遍使用将原图构建出不同分辨率的图像金字塔,再对每层金字塔用固定输入分辨率的分类器在该层滑动来检测目标,以求在金字塔底部检测出小目标;或者只用一个原图,在原图上,用不同分辨率的分类器来检测目标,以求在比较小的窗口分类器中检测到小目标。经典的基于简单矩形特征(Haar)+级联Adaboost与Hog特征+SVM的DPM目标识别框架,均使用图像金字塔的方式处理多尺度目标,早期的CNN目标识别框架同样采用该方式,但对图像金字塔中的每一层分别进行CNN提取特征,耗时与内存消耗均无法满足需求。但该方式毫无疑问仍然是最优的。值得一提的是,其实目前大多数深度学习算法提交结果进行排名的时候,大多使用多尺度测试。同时类似于SNIP使用多尺度训练,均是图像金字塔的多尺度处理。
AI算法修炼营
2020/05/15
2.2K0
目标检测 | 解决小目标检测!多尺度方法汇总
利用增强现实与改进 YOLOv5 检测 !
道路运输对于促进城市和国家之间的交流至关重要。此外,道路建设保证了经济发展,这是人们安全旅行的前提,也是一个国家经济发展的不可或缺条件。路面裂缝和损伤是道路上遇到的最常见问题。
AIGC 先锋科技
2024/07/08
3790
利用增强现实与改进 YOLOv5 检测 !
现代目标检测故事 | 40+种网络架构大盘点!从基础架构ResNet到最强检测器Yolov7再到最新部署神器GhostNetV2
目标检测是指在图像或视频中分类和定位物体的任务。由于其广泛的应用,最近几年目标检测受到了越来越多的关注。本文概述了基于深度学习的目标检测器的最新发展。同时,还提供了目标检测任务的基准数据集和评估指标的简要概述,以及在识别任务中使用的一些高性能基础架构,其还涵盖了当前在边缘设备上使用的轻量级模型。在文章的最后,我们通过以图表的形式直观地在多个经典指标上比较了这些架构的性能。
AiCharm
2023/05/15
1.5K0
现代目标检测故事 | 40+种网络架构大盘点!从基础架构ResNet到最强检测器Yolov7再到最新部署神器GhostNetV2
推荐阅读
相关推荐
中科大提出PE-YOLO | 让YOLO家族算法直击黑夜目标检测
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档