前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >恶劣天气下的目标检测

恶劣天气下的目标检测

作者头像
狼啸风云
修改于 2022-09-02 05:08:37
修改于 2022-09-02 05:08:37
3.5K0
举报

1、Object Detection in Fog Degraded Images

图像处理是从给定图像中提取有价值数据的技术,用于不同的目的,如改善图像的可视化,以及从提取的数据中测量结构或特征。高质量的图像和视频很容易预测和分类,而检测模糊或模糊的图像是一个麻烦的问题。本文提出了一种有效的方法,将离散小波变换和卷积神经网络等多种图像处理技术相结合,对去雾图像进行引导滤波预处理。所提出的技术极大地改进了相关的标准性能指标,如PSNR、MSE和IIE。

2、Cross-domain Learning Using Optimized Pseudo Labels: Towards Adaptive Car Detection in Different Weather Conditions and Urban Cities

基于卷积神经网络(CNN)的目标检测通常假设训练数据和测试数据具有相同的分布,然而,这在现实应用中并不总是成立。在自动驾驶汽车中,驾驶场景(目标域)由不受约束的道路环境组成,这些环境不可能全部在训练数据(源域)中被观测到,这将导致检测器的准确性急剧下降。本文提出了一种基于伪标签的域自适应框架来解决域漂移问题。首先,通过基线检测器(BD)生成目标域图像的伪标签,并通过数据优化模块进行优化,以纠正错误;然后,根据伪标签的优化结果对单个图像中的硬样本进行标记。采用自适应采样模块,根据每幅图像的硬采样个数对目标域数据进行采样,以选择更有效的数据。最后,将改进后的知识精馏损失应用于再训练模块,研究了两种分配软标签到目标域训练实例的方法来对检测器进行再训练。我们评估了该方法在不同源/目标域对中的平均精度,并在Cityscapes、KITTI和Apollo数据集上验证了该框架在多域自适应场景下的平均BD精度提高了10%以上。

3、Accelerated Fog Removal From Real Images for Car Detection

图像去雾提高了计算机视觉应用中图像的视觉质量,例如目标检测和目标跟踪。提出了一种用于车辆检测的加速图像增强技术,作为为了交通管理的目的而使用现有街道摄像机来计数车辆的努力的一部分。解决了汽车检测的两个方面:1)通过用更快的滤波器代替耗时的图像滤波器来加速现有的图像去雾技术,同时保持可忽略的图像退化,2)提出了在无雾图像中检测汽车的快速且实用的算法,并将其应用于大约100幅汽车图像的数据库。除了汽车检测精度之外,加速是本研究的主要目标。改进的雾去除技术是通过使用所提出的自适应滤波器(PAF)估计透射图来恢复雾天图像的场景深度来执行的。在过滤之后,执行简单、准确且有效的汽车检测算法,以确认在处理后的图像中是否存在汽车。该系统相当鲁棒,尽管所有图像都是从现有来源获得的,但所提出的算法预计在浓雾和真实条件下对汽车的任何侧视图像都具有同样好的性能。

4、Road scenes analysis in adverse weather conditions by polarization-encoded images and adapted deep learning

道路场景中的目标检测对于开发自主车辆和驾驶辅助系统都是必要的。即使用于识别任务的深度神经网络在使用传统图像时表现出了很好的性能,但是在复杂的采集情况下,它们不能检测道路场景中的对象。相比之下,表征光波的偏振图像即使在弱照明或强反射的情况下,也能鲁棒地描述物体的重要物理特性。本文展示了非常规偏振成像模式如何克服传统的目标检测方法,特别是在恶劣天气条件下。所提出的方法的效率主要是由于旋光性的高功率以通过其反射特性来辨别任何物体,以及使用深度神经网络来进行物体检测。我们的目标是通过这项工作,证明偏振测量带来了一个真正的附加值相比,RGB图像的目标检测。在由恶劣天气条件下拍摄的道路场景图像组成的数据集上的实验结果表明,在不同的检测任务中,偏振测量和深度学习可以将技术水平提高大约20%到50%。

5、Deep Learning Approaches on Pedestrian Detection in Hazy Weather

有效地检测各种环境中的行人将显著提高自主车辆的驾驶安全性。然而,在雾天拍摄的行人图像的去模糊的可见度和模糊的轮廓和外观强烈地限制了当前行人检测方法的有效性。为了解决这个问题,本文提出了三种新颖的深度学习方法。深度方向的可分离卷积和线性瓶颈技术被用来降低计算成本和参数数量,使我们的网络更有效。我们还在其中一种方法中创新性地开发了一个加权组合层,通过组合多尺度特征图和一个挤压和激励块。利用六种策略对雾天采集的行人图像进行增强,以丰富数据库。实验结果表明,本文提出的方法能够在雾天有效地检测出行人,在准确率和速度上都明显优于现有的方法。

6、Data Augmentation for Improving SSD Performance in Rainy Weather Conditions

本文主要研究在多雨天气条件下,利用数据增强技术提高单炮多箱探测器的性能。通过在一组清晰图像上生成合成雨来应用数据增强,以扩展用于训练的数据集。实验结果表明,在所提出的增强合成数据集上进行训练,固态硬盘模型的性能提高了16.82%。

7、Vehicle Detection and Counting for Complex Weather Conditions

有许多技术用于运动目标检测。后处理步骤包括设置适当的阈值来区分前景和背景,这对提高这些技术的检测率准确性有很大影响。然而,到目前为止,找到一个能够自适应的合适的阈值,特别是在能见度低的场景中,并不十分成功。提出了一种基于三角形阈值法的自适应阈值算法。与基于近似中值滤波器的背景建模一起,在当前帧和背景模型之间的差异直方图上应用三角形阈值。最后,应用形态学运算和计数。实验结果表明,在不同的天气条件下(如雾和雪),三角形阈值可以有效地区分城市道路中的前景和背景。该方法与自适应局部阈值方法的比较表明了该方法的潜力。实验结果表明,与ALT相比,该方法在保持相似处理时间的同时,具有更好的检测率。

8、A NOVEL DATASET FOR OBJECT DETECTION IN RAINY WEATHER CONDITIONS

近年来,基于卷积神经网络的目标检测模型在自主驾驶系统中得到了广泛的关注并取得了令人瞩目的成果。然而,在恶劣的天气条件下,由于缺乏用于训练策略的相关数据集,这些模型的性能大大降低。在这项工作中,我们通过引入一个新的雨驱动数据集,命名为RD,解决了雨干扰下的目标检测问题。我们的数据集突出显示了各种数据源,有1100幅描绘各种驾驶场景的真实雨天图像,并带有五种常见交通对象类别的地面真实边界框注释。本文采用研发来训练三个最先进的目标检测模型,包括SSD512、视网膜和YOLO V3。实验结果表明,SSD512、RetinaNet和YOLO-V3模型的性能分别提高了5.64%、8.97%和5.70%。

9、Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather

摄像机、激光雷达和雷达测量等多模态传感器流的融合在自主车辆的目标检测中起着至关重要的作用,自主车辆的决策基于这些输入。虽然现有的方法在良好的环境条件下利用冗余信息,但在恶劣的天气条件下,它们会失败,因为在恶劣的天气条件下,感官流会不对称地扭曲。这些罕见的“边缘情况”场景在可用的数据集中没有表现出来,现有的融合架构也不是为处理它们而设计的。为了应对这一挑战,我们提出了一个新的多模态数据集,该数据集是在北欧行驶10,000多公里后获得的。虽然该数据集是不利天气下的第一个大型多模态数据集,具有100k个激光雷达、相机、雷达和门控近红外传感器标签,但由于极端天气很少,它不利于训练。为此,我们提出了一种深度融合网络,用于在没有覆盖所有非对称失真的大量标记训练数据的情况下进行鲁棒融合。从建议级融合出发,我们提出了一个由测量熵驱动的自适应融合特征的单次模型。我们在我们广泛的验证数据集上验证了基于干净数据训练的方法。代码和数据可以在这里找到:https://github.com/princeton-computational-imaging/SeeingThroughFog

10、A Real-Time Vehicle Detection System under Various Bad Weather Conditions Based on a Deep Learning Model without Retraining

已经提出了许多车辆检测方法来为智能交通系统的发展获得可信的交通数据。这些方法中的大多数在常见场景下表现良好,例如晴天或阴天;然而,在各种恶劣的天气条件下,例如雨天或有眩光的日子(通常发生在日落期间),检测精度会急剧下降。本研究提出了一种具有能见度互补模块的车辆检测系统,该系统在各种恶劣天气条件下提高了检测精度。此外,所提出的系统可以在不重新训练用于不同天气条件下的目标检测的深度学习模型的情况下实现。能见度的互补是通过使用暗通道先验和卷积编码器-解码器深度学习网络获得的,该网络具有双残差块,以解决不同恶劣天气条件的不同影响。通过使用“你只看一次”深度学习模型检测车辆,我们在多个监控视频上验证了我们的系统,并证明我们的系统的计算时间平均可达30帧/秒;此外,精确度不仅在低对比度场景条件下提高了近5%,而且在雨天场景条件下也提高了50%。我们的演示结果表明,我们的方法能够在各种恶劣天气条件下检测车辆,而无需重新培训新型号。

11、Vehicle Detection and Width Estimation in Rain by Fusing Radar and Vision*

虽然人们已经在深度学习目标检测方面付出了很多努力,但是在恶劣天气(例如雨、雪或霾)下的目标检测受到的关注相对有限。在大雨中,前挡风玻璃上的雨滴会使车内摄像头难以检测到物体。解决这个问题的传统方法是使用雷达作为主要的探测传感器。然而,雷达很容易出现误报。此外,许多入门级雷达传感器只返回每个检测到的物体的质心,而不是其大小和范围。此外,由于缺乏纹理输入,雷达无法区分车辆和非车辆对象,例如路边杆。这促使我们通过融合雷达和视觉来检测车辆。在本文中,我们首先相对于地平面校准雷达和照相机。然后将雷达探测投影到摄像机图像上,用于目标宽度估计。对大型数据库的经验评估表明,两个传感器之间存在天然的协同作用,因为雷达检测的准确性极大地促进了基于图像的估计。

12、Moving object detection under different weather conditions using full-spectrum light sources

鉴于与该主题相关的各种挑战,运动目标检测一直是一个活跃的研究领域。事实上,大多数挑战与低照度和天气条件(雾、雪、雨等)有关。)仍未解决,需要更多开发。在本文中,我们的内在目标是使用一种有效的运动目标检测方法来克服这些挑战。与大多数独立使用两个红外或可见光光谱之一的文献不同,我们提出了一种基于全光谱光源背景建模的运动目标检测方法。为了更好地保证运动目标速度和大小的适应性和独立性,在背景建模阶段引入了帧间差分方法的原理。此外,我们应用了一种新的策略在光谱之间切换,使我们能够受益于每个光谱的优势,即使在恶劣的天气条件下也能进行更好的运动目标检测。定量和定性评价的实验研究证明了我们提出的在不同光照和天气条件下使用全光谱光源之间切换策略的运动目标检测方法的鲁棒性和有效性。

13、It’s Raining Cats or Dogs? Adversarial Rain Attack on DNN Perception

雨是自然界中常见的现象,也是许多基于深度神经网络(DNN)的感知系统的重要因素。下雨通常会带来不可避免的威胁,必须小心应对,尤其是在安全和安保敏感的情况下(例如自动驾驶)。因此,全面调查降雨对DNN的潜在风险非常重要。不幸的是,在实践中,通常很难收集或合成能够代表现实世界中可能发生的所有下雨情况的下雨图像。为此,本文从一个新的角度出发,提出将两个完全不同的研究结合起来,即雨天图像合成和对抗性攻击。我们提出了一种对抗的降雨攻击,通过这种攻击,我们可以在部署的分布式神经网络的指导下模拟各种降雨情况,并揭示降雨可能带来的潜在威胁因素,从而帮助开发更抗雨的分布式神经网络。特别是,我们提出了一种因子感知的雨生成,它根据相机曝光过程模拟雨块,并为对抗攻击模拟可学习的雨因子。利用该生成器,我们进一步提出了针对图像分类和目标检测的对抗雨攻击,其中雨因子由各种dnn引导。因此,它能够全面研究降雨因素对DNNs的影响。我们在三个数据集上的大规模评估表明,我们合成的雨景图像不仅能够呈现视觉上真实的外观,而且具有很强的对抗能力,这为进一步的雨景感知研究奠定了基础。

14、Raindrops on the Windshield: Performance Assessment of Camera-based Object Detection

摄像机系统从周围环境中捕捉图像,并处理这些数据以检测和分类物体。造成故障和故障的一个特殊类别是不利的天气条件。在这种情况下,众所周知,例如,雨水由于吸收和散射下落的雨滴而降低了传感器的性能。此外,由于外部视野受到干扰,车载摄像头的物体检测会受到挡风玻璃上雨滴的影响。为了抵消这种影响,安装了挡风玻璃刮水器,以改善驾驶员的视觉信息,同时也有利于图像传感器。本文研究了雨天条件下一次擦拭动作的图像质量和目标检测的正确性。结果表明,随着雨滴在挡风玻璃上的积累,图像质量和目标检测性能下降。此外,它还显示了性能和时间之间的权衡。因此,应实施自适应加权数据融合,以便根据传感器数据最可靠的帧做出决策。

15、A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection

近年来,使用深度学习的相机图像中的目标检测已被证明是成功的。不断提高的检测率和高效的计算网络结构将这一技术推向生产车辆的应用。然而,相机的传感器质量在恶劣的天气条件下受到限制,并且在光线稀疏的区域和夜间会增加传感器噪声。我们的方法通过在网络层融合摄像机数据和投影稀疏雷达数据来增强当前的2D目标检测网络。所提出的摄像机融合网络(CRF-Net)自动学习传感器数据的融合在哪个级别对检测结果最有利。此外,我们引入了BlackIn,这是一种受Dropout启发的培训策略,它将学习重点放在特定的传感器类型上。我们表明,对于两个不同的数据集,融合网络的性能优于现有的纯图像网络。这项研究的代码将提供给公众:https://github.com/TUMFTM/CameraRadarFusionNet

16、Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

不管图像失真或天气条件如何,检测物体的能力对于像自主驾驶这样的深度学习的现实应用来说至关重要。我们在这里提供了一个易于使用的基准来评估图像质量下降时目标检测模型的表现。生成的三个基准数据集,称为帕斯卡-C、可可-C和城市风景-C,包含各种各样的图像损坏。我们表明,一系列标准目标检测模型在损坏的图像上遭受了严重的性能损失(低至原始性能的30-60%)。然而,一个简单的数据增加技巧——训练图像的风格化——导致跨损坏类型、严重性和数据集的鲁棒性的显著增加。我们设想我们的综合基准来跟踪构建健壮的目标检测模型的未来进展。基准、代码和数据是公开的。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/05/17 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
论文分享 | 恶劣天气下的3D目标检测
LiDAR是真实世界三维感知任务的重要传感器之一,但当光学介质中存在水或雪粒子时,这些粒子与激光束相互作用,具体表现为吸收、反射或折射激光束。这种相互作用产生了两种显著的影响:一是导致LiDAR的接收到的物体反射功率发生衰减;二是粒子的后向散射造成接收功率出现伪最大值,进而在不同于目标真实距离的范围内产生伪回波。因此,由于强烈的噪声干扰,捕获的点云会发生与正常天气下相差较大的域移位,从而导致测量质量严重下降。这一现象对3D目标检测等高级任务的性能产生不利的影响。接下来将介绍三个与之相关的研究工作:
一点人工一点智能
2024/03/28
9240
论文分享 | 恶劣天气下的3D目标检测
D-YOLO解决落地困难 | 关注特征融合模块+无雾特征子网络,让YOLO家族无惧雨雾和风雪
目标检测是计算机视觉中的一个关键技术,已经在制造业、农业、医疗保健、监控安全、交通控制和自动驾驶车辆等多个领域得到广泛应用。这是因为目标检测具有双重目的:对图像内的物体进行分类和定位。近年来,目标检测方法取得了重大进展,特别是采用深度卷积神经网络(DNN)后。这些方法显示出显著的有效性和准确性,极大地推动了相关领域的发展。
集智书童公众号
2024/03/25
2K0
D-YOLO解决落地困难 | 关注特征融合模块+无雾特征子网络,让YOLO家族无惧雨雾和风雪
清华大学提出 TANet 用于综合恶劣天气图像复原的三重注意网络 !
恶劣的天气条件(如雾、雨、雪等)通常会导致图像中的 unwanted artifacts,从而降低图像的质量。这些退化模式会模糊图像的结构和细节,严重影响许多下游视觉任务。恶劣天气图像修复的目标是从单个退化图像中去除不必要的退化模式。然而,由于天气条件通常是非均匀的和时间变化的,恶劣天气图像修复是一个具有高度非凸问题的任务,已在计算机视觉领域广泛研究[12, 17, 25]。
未来先知
2024/11/15
3370
清华大学提出 TANet 用于综合恶劣天气图像复原的三重注意网络 !
BEVCar | 融合雷达,颠覆夜间与恶劣天气下的机器人视觉分割!
移动机器人,如自动驾驶车辆,严重依赖于对其环境的准确和健壮的感知。因此,机器人平台通常配备有各种传感器[1, 2, 3],每种传感器提供互补的信息。例如,环视摄像头提供密集的RGB图像,而激光雷达或雷达系统提供稀疏的深度测量。然而,由于这些不同模态的数据结构本质上的不同,融合这些数据提出了一个重大挑战。解决这一挑战的常用方法是采用鸟瞰视图(BEV)表示作为共享参考框架[4, 5, 6, 7, 8, 9]。
AIGC 先锋科技
2024/07/08
3690
BEVCar | 融合雷达,颠覆夜间与恶劣天气下的机器人视觉分割!
最新!恶劣天气条件下激光雷达感知研究综述
自动驾驶汽车依靠各种传感器来收集周围环境的信息。车辆的行为是根据环境感知进行规划的,因此出于安全考虑,其可靠性至关重要。有源激光雷达传感器能够创建场景的精确3D表示,使其成为自动驾驶汽车环境感知的宝贵补充。由于光散射和遮挡,激光雷达的性能在雾、雪或雨等恶劣天气条件下会发生变化。这种限制最近促进了大量关于缓解感知性能下降的方法的研究。本文收集、分析并讨论了基于激光雷达的环境感知中应对不利天气条件的不同方面。并讨论了适当数据的可用性、原始点云处理和去噪、鲁棒感知算法和传感器融合等主题,以缓解不利天气造成的缺陷。此外论文进一步确定了当前文献中最紧迫的差距,并确定了有希望的研究方向。
公众号-arXiv每日学术速递
2023/08/26
1.7K0
最新!恶劣天气条件下激光雷达感知研究综述
K-Radar:适用于各种天气条件的自动驾驶4D雷达物体检测
文章:K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions
点云PCL博主
2023/12/11
7600
K-Radar:适用于各种天气条件的自动驾驶4D雷达物体检测
探究 TurMass™ 通信技术如何帮助优化车辆检测雷达在道路风险防控中的作用与效果
导语:车辆检测雷达与 TurMass™ 无线通信技术的深度融合,不仅革新了传统交通安全管理手段,更为实现道路交通安全雷达风险防控提供了智能化、信息化的解决方案,对于推动智慧交通建设,降低交通事故发生率,保障公众出行安全具有深远的意义。
用户8194533
2024/03/15
1960
探究 TurMass™ 通信技术如何帮助优化车辆检测雷达在道路风险防控中的作用与效果
图像自适应YOLO:模糊环境下的目标检测(附源代码)
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文获取|回复“IAYOLO”获取paper 源代码:https://github.com/wenyyu/ImageAdaptive-YOLO 计算机视觉研究院专栏 作者:Edison_G 最近开车发现雾天和晚上视线不是很清楚,让我联想到计算机视觉领域,是不是也是因为这种环境情况,导致最终的模型检测效果不好。最近正好看了一篇文章,说恶劣天气下的目标检测,接下来我们一起深入了解下。
计算机视觉研究院
2022/03/08
1.9K0
图像自适应YOLO:恶劣天气下的目标检测
尽管基于深度学习的目标检测方法在传统数据集上取得了可喜的结果,但从恶劣天气条件下捕获的低质量图像中定位目标仍然具有挑战性。现有方法要么难以平衡图像增强和目标检测的任务,要么经常忽略对检测有益的潜在信息。
计算机视觉研究院
2022/01/27
2K0
图像自适应YOLO:恶劣天气下的目标检测
厦门大学突破 SRKD框架 | 雨天无阻,显著提高了检测精度
近年来,利用点云数据进行三维目标检测的研究兴趣日益增长。为了在自动驾驶等领域广泛应用,这些模型必须在多种环境下展现出稳健的性能。尽管在基准数据集上的三维目标检测已经取得进展,但在恶劣天气条件(例如,雨天)下实现一致且可靠性能仍是一个开放的挑战。
集智书童公众号
2024/04/12
7920
厦门大学突破 SRKD框架 | 雨天无阻,显著提高了检测精度
浙江理工 & 谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
在开放和动态的环境中,目标检测面临如雨、雾和雪等具有挑战性的天气条件。基于深度学习的目标检测方法的快速发展显著提高了识别和分类物体的能力。得益于先进的特征提取和融合策略,跨模态目标检测方法已达到高精度,例如CFT(杨等人,2017年)、GAFF(杨等人,2017年)和CFR
集智书童公众号
2024/05/10
1.5K0
浙江理工 &  谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
计算机视觉最新进展概览(2021年7月11日到2021年7月17日)
自动驾驶汽车的目标检测通常基于摄像头图像和激光雷达输入,通常用于训练深度人工神经网络等预测模型,用于目标识别决策、速度调节等。 这种决策中的一个错误可能是破坏性的; 因此,通过不确定性测度来衡量预测模型决策的可靠性至关重要。 在深度学习模型中,不确定性通常用于衡量分类问题。 然而,自动驾驶中的深度学习模型往往是多输出回归模型。 因此,我们提出了一种新的方法,即预测表面不确定度(PURE)来测量这类回归模型的预测不确定度。 我们将目标识别问题表述为一个具有多个输出的回归模型,用于在二维摄像机视图中寻找目标位置。 为了进行评估,我们修改了三个广泛应用的目标识别模型(即YoLo、SSD300和SSD512),并使用了KITTI、Stanford Cars、Berkeley DeepDrive和NEXET数据集。 结果显示,预测面不确定性与预测精度之间存在显著的负相关关系,表明不确定性对自动驾驶决策有显著影响。
狼啸风云
2021/07/20
5800
改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!
本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。
集智书童公众号
2021/12/22
1.7K0
改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!
Yolo框架优化:黑夜中也可以实时目标检测,
目前的目标检测模型在许多基准数据集上都取得了良好的效果,在夜晚或者黑暗条件下检测目标仍然是一个巨大的挑战。
计算机视觉研究院
2023/08/22
9480
Yolo框架优化:黑夜中也可以实时目标检测,
狂风暴雨依旧YOLO | 全新数据集,全新任务,促进极端降雨条件下目标检测的优化和发展
近年来,得益于各种深度学习技术和传感器的开发,自动驾驶等级可以快速提升到4或5级。 随着自动驾驶技术等级的显著提高,自动驾驶在大多数道路上成为可能,尤其是在复杂的城市、弯道和巷道,使应对意外情况变得更加容易。
集智书童公众号
2023/12/19
8170
狂风暴雨依旧YOLO | 全新数据集,全新任务,促进极端降雨条件下目标检测的优化和发展
A-BDD:面向恶劣天气和照明条件的分类器欺骗与语义分割 !
自动驾驶(AD)的实际实现,特别是高阶全自动驾驶(L4&5级),依赖于健壮的基于机器学习的感知算法。最近的部委报告表明,感知失败仍然是高级驾驶员辅助系统(ADAS)断开的核心驱动因素[8]。
未来先知
2024/08/29
3420
A-BDD:面向恶劣天气和照明条件的分类器欺骗与语义分割 !
【传感器融合】开源 | 恶劣天气(大雾)中的深度多模态传感器融合
论文地址: http://arxiv.org/pdf/1902.08913v3.pdf
CNNer
2021/11/26
1.2K0
【传感器融合】开源 | 恶劣天气(大雾)中的深度多模态传感器融合
ContextVLM 使用视觉-语言模型实现自动驾驶车辆的环境和驾驶上下文识别 !
自动驾驶(AV)在现实生活中部署需要详细规定和应用操作设计域(ODDs)。ODDs是指自动驾驶车辆在广泛测试和预计安全操作的地理位置的道路和环境条件。核心自动驾驶功能(如感知、规划、行为和定位)的性能很大程度上取决于操作环境。特别是,基于传感器的感知可能受到雪、雾、雨和低光照条件的影响。运动规划器生成的路径和速度轨迹也可以从操作域知识中受益,如道路是上坡还是下坡、是否铺砌、鹅卵石或未经铺设。在周围区域的工作区知识有重大的安全意义[1]。此外,AV在乡村地区、城市峡谷、隧道或公路上的驾驶对定位性能有显著影响[2],例如,因为全球导航卫星系统(GNSS)精度的变化。然而,现有的研究通常忽略了可以喂养和影响自动驾驶堆叠的通用的上下文识别需求。
AIGC 先锋科技
2024/09/20
1510
ContextVLM  使用视觉-语言模型实现自动驾驶车辆的环境和驾驶上下文识别 !
计算机视觉最新进展概览(2021年6月20日到2021年6月26日)
1、3D Object Detection for Autonomous Driving: A Survey 自动驾驶被认为是保护人类免遭严重车祸的最有前途的方法之一。 为此,三维目标检测是感知系统的核心基础,特别是在路径规划、运动预测、避碰等方面。 一般来说,立体或单目图像中相应的三维点云已经是三维目标检测的标准布局,随着提供准确的深度信息,点云越来越普遍。 尽管已有的努力,点云上的3D目标检测仍然处于起步阶段,原因是点云本质上高度稀疏和不规则,相机视图和激光雷达鸟瞰图之间的不对齐视图的模态协同,遮挡和规模变化在长距离等。 近年来,在三维目标检测方面取得了深刻的进展,有大量的文献正在研究这一视觉任务。 因此,我们将全面回顾该领域的最新进展,涵盖所有主要主题,包括传感器、基本原理和最新的最先进的检测方法及其优缺点。此外,我们将介绍度量并提供流行公共数据集的定量比较。 未来工作的途径将在对调查工作进行深入分析后审慎地确定。 最后,对本文进行了总结。 2、One Million Scenes for Autonomous Driving: ONCE Dataset 当前的自动驾驶感知模型因严重依赖大量注释数据来覆盖不可见的案例和解决长尾问题而臭名昭著。 另一方面,从未标记的大规模收集数据中学习、逐步自我训练的强大识别模型越来越受到关注,可能成为下一代行业级强大、鲁棒的自动驾驶感知模型的解决方案。 然而,研究领域普遍存在着现实场景中必不可少的数据不足的问题,这阻碍了未来全/半/自我监督的三维感知方法的探索。 在本文中,我们介绍了用于自动驾驶场景的三维目标检测的ONCE(一百万场景)数据集。 ONCE数据集包括100万个激光雷达场景和700万个相应的相机图像。 数据来自144个驾驶小时,比现有最大的3D自动驾驶数据集(如nuScenes和Waymo)长20倍,数据来自不同的地区、时间段和天气条件。 为了便于未来利用无标记数据进行3D检测的研究,我们另外提供了一个基准,在此基准上我们在ONCE数据集上再现和评估各种自我监督和半监督方法。 我们对这些方法进行了广泛的分析,并提供了与使用数据规模相关的有价值的观察结果。 3、SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving 为了促进一个真实的、不断发展和可扩展的自动驾驶系统,我们提出了一个大规模的基准,通过学习原始数据,对不同的自我监督和半监督方法进行标准化评估,这是迄今为止第一个也是最大的基准。 现有的自动驾驶系统严重依赖“完美的”视觉感知模型(如检测),这些模型使用大量标注数据进行训练,以确保安全。 然而,在部署一个强大的自动驾驶系统时,要对所有场景和环境(例如夜晚、极端天气、城市)都精心标注是不现实的。 基于自监督和半监督学习的强大发展,通过协同开发大规模无标记数据和少量标记数据学习鲁棒检测模型是一个很有前途的方向。 现有的数据集(如KITTI、Waymo)要么只提供少量的数据,要么覆盖了有限的领域,并进行了完整的注释,阻碍了对大规模预训练模型的探索。 在这里,我们发布了一个用于自动驾驶的大规模目标检测基准,名为SODA10M,包含1000万张未标记图像和20K张标记了6个代表性目标类别的图像。 为了提高多样性,图像每10秒采集一次,在32个不同的城市中,在不同的天气条件下,时间段和场景。 我们提供了广泛的实验和深入的分析现有的监督的最先进的检测模型,流行的自我监督和半监督方法,以及一些关于如何开发未来的模型的见解。 4、MODETR: Moving Object Detection with Transformers 运动目标检测(MOD)是自动驾驶系统的一项重要任务。 MOD通常通过融合了外观和运动线索的双流卷积结构处理,而没有考虑空间或运动特征之间的相互关系。 在本文中,我们通过跨越空间流和运动流的多头注意机制来解决这个问题。 我们建议MODETR; 一个运动物体检测Transformer网络,包括空间和运动形态的多流变压器编码器,和一个物体变压器解码器,使用集合预测产生运动物体的边界盒。 整个体系结构使用双向损耗进行端到端训练。 本文探讨了将运动线索与Transformer模型结合的几种方法,包括双流RGB和光流方法,以及利用序列信息的多流体系结构。 为了整合时间信息,我们提出了一种新的时间位置编码(TPE)方法来扩展空间位置编码(SPE)。 我们将为此探索两种架构选择,即在速度和时间之间实现平衡。 为了评估我们的网络,我们在KITTI MOD[6]数据集上执行MOD任务。 结果表明,显著的5%地图的Transformer网络MOD超过了最先进的方法。 此外,提出的TPE编码比SPE基线提供了10%的mAP改进。 5、Multi-Modal 3D O
狼啸风云
2021/06/29
9510
大模型来了,自动驾驶还远吗?关键看“眼睛”
感知系统是自动驾驶最重要的模块之一,被视为智能车的“眼睛”,对理解周围环境起到至关重要的作用。随着深度学习以及传感器技术的发展,感知系统呈现出迅猛的发展趋势,涌现出各种新技术,性能指标不断提升。本文将围绕感知系统架构、方法及挑战,结合驭势科技的具体实践深入探究自动驾驶感知技术。 作者 |耿秀军、李金珂、张丹、彭进展 出品 | 新程序员 感知系统架构与方法 目标的检测与跟踪是感知系统的两大基础任务,主要利用不同传感器数据输入,完成对周围障碍物的检测与跟踪,并将结果传递给下游规划控制模块完成预测、决策、规划、
AI科技大本营
2023/05/15
4990
大模型来了,自动驾驶还远吗?关键看“眼睛”
推荐阅读
论文分享 | 恶劣天气下的3D目标检测
9240
D-YOLO解决落地困难 | 关注特征融合模块+无雾特征子网络,让YOLO家族无惧雨雾和风雪
2K0
清华大学提出 TANet 用于综合恶劣天气图像复原的三重注意网络 !
3370
BEVCar | 融合雷达,颠覆夜间与恶劣天气下的机器人视觉分割!
3690
最新!恶劣天气条件下激光雷达感知研究综述
1.7K0
K-Radar:适用于各种天气条件的自动驾驶4D雷达物体检测
7600
探究 TurMass™ 通信技术如何帮助优化车辆检测雷达在道路风险防控中的作用与效果
1960
图像自适应YOLO:模糊环境下的目标检测(附源代码)
1.9K0
图像自适应YOLO:恶劣天气下的目标检测
2K0
厦门大学突破 SRKD框架 | 雨天无阻,显著提高了检测精度
7920
浙江理工 & 谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
1.5K0
计算机视觉最新进展概览(2021年7月11日到2021年7月17日)
5800
改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!
1.7K0
Yolo框架优化:黑夜中也可以实时目标检测,
9480
狂风暴雨依旧YOLO | 全新数据集,全新任务,促进极端降雨条件下目标检测的优化和发展
8170
A-BDD:面向恶劣天气和照明条件的分类器欺骗与语义分割 !
3420
【传感器融合】开源 | 恶劣天气(大雾)中的深度多模态传感器融合
1.2K0
ContextVLM 使用视觉-语言模型实现自动驾驶车辆的环境和驾驶上下文识别 !
1510
计算机视觉最新进展概览(2021年6月20日到2021年6月26日)
9510
大模型来了,自动驾驶还远吗?关键看“眼睛”
4990
相关推荐
论文分享 | 恶劣天气下的3D目标检测
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档