Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【3D目标检测】开源 | 一种新型的探测遥远物体的融合策略,在鸟瞰图和3D中远距目标检测方面的性能SOTA!

【3D目标检测】开源 | 一种新型的探测遥远物体的融合策略,在鸟瞰图和3D中远距目标检测方面的性能SOTA!

作者头像
CNNer
发布于 2021-12-10 03:20:17
发布于 2021-12-10 03:20:17
6640
举报
文章被收录于专栏:CNNerCNNer

论文地址: http://arxiv.org/pdf/2011.01404v3.pdf

来源: The Ohio State Universtiy

论文名称:Faraway-Frustum Dealing with Lidar Sparsity for 3D Object Detection using Fusion

原文作者:Haolin Zhang

内容提要

基于学习的点云表示不能很好地泛化到传感器的距离增加的情况下。例如,在超过60米的范围内,激光雷达点云的稀疏程度达到了连人类都无法分辨物体形状的程度。然而,对于快速行驶的车辆来说,这个距离不算太远:一辆汽车可以在2秒内以70英里/小时的速度行驶60米。为了实现安全可靠的驾驶自动化,在这些范围内进行3D目标检测是必不可少的。在此背景下,我们引入了一种新型的探测遥远物体的融合策略——远截锥。主要策略是仅依靠2D视觉来识别目标类,因为物体的形状不会随着深度的增加而发生剧烈的变化,并利用点云数据在3D空间中对远处的物体进行目标定位。对于更近的目标,我们使用学习过的点云表示,遵循最先进的技术。该策略缓解了使用学习的点云表示进行目标检测的主要缺点。在KITTI数据集上的实验表明,本文方法在鸟瞰图和3D中远距目标检测方面的性能优于目前最先进的方法。

主要框架及实验结果

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-12-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNNer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
从2D到3D的目标检测综述
论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
点云PCL博主
2020/11/19
2.2K0
从2D到3D的目标检测综述
汇总|3D点云目标检测算法
前面总结了几种基于激光雷达点云数据的3D目标检测算法,还有一些算法不再单独列出,这里做个简单总结来分享下!
计算机视觉
2020/11/11
2.6K0
汇总|3D点云目标检测算法
汇总|3D目标检测文章(CVPR2020)
今年CVPR20-paper-list前几天已经出了,所以这里做一点大致的综述介绍在CVPR20上在3D目标检测的一些文章。如下图所示,3D目标检测按照大方向可以分为室外和室内的目标检测,室内场景数据集一般有ScanNet等,该领域研究比较少,笔者注意到的第一篇文章是来自FAIR的voteNet,采用霍夫投票机制生成了靠近对象中心的点,利用这些点进行分组和聚合,以生成box proposals。今年在CVPR20上也至少有两篇该文章的后续工作,分别是来自pointnet之父的Imvotenet,地址是:https://arxiv.org/pdf/2001.10692.pdf;另外一篇MLCVNet来自南京大学和卡迪夫大学的联合工作 ,文章地址:https://arxiv.org/pdf/2004.05679,该文章在vote的基础上利用自注意力机制融合Multi-scale的特征。 此外,在室外场景的目标检测中,可以大致按照输入分为lidar-input,image-input和multi-sensors-fusion的研究工作。
3D视觉工坊
2020/12/11
9710
融合点云与图像的环境目标检测研究进展
在数字仿真技术应用领域,特别是在自动驾驶技术的发展中,目标检测是至关重要的一环,它涉及到对周围环境中物体的感知,为智能装备的决策和规划提供了关键信息。
一点人工一点智能
2024/03/22
2.2K0
融合点云与图像的环境目标检测研究进展
从数据集到2D和3D方法,一文概览目标检测领域进展
目标检测任务的目标是找到图像中的所有感兴趣区域,并确定这些区域的位置和类别。由于目标具有许多不同的外观、形状和姿态,再加上光线、遮挡和成像过程中其它因素的干扰,目标检测一直以来都是计算机视觉领域中一大挑战性难题。
机器之心
2020/11/13
1.1K0
从数据集到2D和3D方法,一文概览目标检测领域进展
点云目标检测已有成果速览
基于鸟瞰图的方法:MV3D将Li-DAR点云投射到鸟瞰图上,并为3D边界框proposal训练一个region proposal网络(RPN)。 然而,该方法在检测诸如行人和骑车人等小物体方面滞后,并且不能容易地适应具有垂直方向上的多个物体的场景。AVOD同样利用点云投影数据,克服了上述缺点。在KITTI竞赛的排行榜上目前排名第2.
点云乐课堂
2020/05/18
5610
【目标检测】开源 | 一种利用雷达和摄像机数据进行3D目标检测的中间融合方法
论文地址: http://arxiv.org/pdf/2011.04841v1.pdf
CNNer
2021/11/10
5470
GNN用于3D目标检测,表现SOTA,CMU开辟新方向
分享一篇今天新出的论文Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud,来自卡内基梅隆大学(CMU)的研究人员提出使用图神经网络(GNN)进行点云数据的3D目标检测,取得了最先进的效果,甚至超越了一些基于点云和RGB数据融合的检测方法,为这一领域开辟了新的技术方向。
CV君
2020/03/06
2.5K0
Improving 3D Object Detection with Channel-wise Transformer
尽管近年来点云三维物体检测取得了快速进展,但缺乏灵活和高性能的建议细化仍然是现有最先进的两级检测器的一大障碍。 之前的3D建议精炼工作依赖于人为设计的组件,如关键点采样、集合抽象和多尺度特征融合,以产生强大的3D目标表示。 然而,这些方法捕获点之间丰富的上下文依赖关系的能力有限。 在本文中,我们利用高质量的区域提议网络和一个Channel-wise Transformer架构,以最少的手工设计构成了我们的两阶段3D目标检测框架(CT3D)。 建议的CT3D同时对每个建议中的点特征执行提议感知的嵌入和信道上下文聚合。 具体来说,CT3D利用建议的关键点进行空间情境建模,并在编码模块中学习注意力传播,将建议映射到点嵌入。 接下来,一个新的信通道译码模块通过通道重加权有效地合并多级上下文来丰富查询键交互,这有助于实现更准确的目标预测。 大量实验表明,我们的CT3D方法具有良好的性能和可扩展性。 值得一提的是,在KITTI测试3D检测基准上,CT3D在中型车类别中实现了81.77%的AP,优于最先进的3D检测器。
狼啸风云
2021/09/26
1.3K1
Improving 3D Object Detection with Channel-wise Transformer
自动驾驶中的三维目标检测综述
文章:3D Object Detection for Autonomous Driving: A Survey
点云PCL博主
2022/02/10
1.8K0
自动驾驶中的三维目标检测综述
地平线提出AFDet:首个Anchor free、NMS free的3D目标检测算法
在嵌入式系统上运行的高效点云3D目标检测对于许多机器人应用(包括自动驾驶)都非常重要。大多数以前的工作试图使用基于Anchor的检测方法来解决它,这有两个缺点:后处理相对复杂且计算量大;调整Anchor点参数非常棘手,并且是一个tricky。本文是第一个使用AFDet( anchor free and Non-Maximum Suppression free one stage detector)来解决这些缺点的公司。借助简化的后处理环节可以在CNN加速器或GPU上高效地处理整个AFDet。并且,在KITTI验证集和Waymo Open Dataset验证集上,AFDet无需花哨的技巧,就可以与其他Anchor-based的3D目标检测方法竞争。
Amusi
2020/06/29
3.6K0
地平线提出AFDet:首个Anchor free、NMS free的3D目标检测算法
LaserNet:一种高效的自动驾驶概率三维目标探测器
本文介绍了一种基于激光雷达数据的激光网络自动驾驶三维目标检测方法——LaserNet。高效的处理结果来自于在传感器的自然距离视图中处理激光雷达数据。在激光雷达视场范围内的操作有许多挑战,不仅包括遮挡和尺度变化,还有基于传感器如何捕获数据来提供全流程信息。
点云PCL博主
2019/07/30
1.8K0
LaserNet:一种高效的自动驾驶概率三维目标探测器
【3D目标检测】开源 | 弱监督的3D目标检测器,不需要任何ground truth就可以进行模型训练
备注:研究方向+地点+学校/公司+昵称,更快通过申请,长按加细分领域技术交流群,目前有细分领域:图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理(分割检测)、深度学习。
CNNer
2020/08/21
1.4K0
【3D目标检测】开源 | 弱监督的3D目标检测器,不需要任何ground truth就可以进行模型训练
CLOCs:3D目标检测多模态融合之Late-Fusion
文章:CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection 论文地址:在公众号「计算机视觉工坊」,后台回复「Late-Fusion」,即可直接下载。
计算机视觉
2020/12/11
1.2K0
CLOCs:3D目标检测多模态融合之Late-Fusion
CenterFusion:融合雷达与摄像头数据的高精度3D目标检测
介绍一篇新出的论文 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection ,旨在使用低成本的雷达(redar)替换自动驾驶中的激光雷达,并达到高精度3D目标检测的方法。
3D视觉工坊
2020/11/19
1.3K0
CenterFusion:融合雷达与摄像头数据的高精度3D目标检测
智驾车技术栈 | 两万字综述:自动驾驶中基于Lidar点云的3D目标检测深度学习方法
本文为《A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving》译文的基础上稍作修改提炼,方便大家学习理解。
小杨同学努力学习呀
2022/12/18
2.4K0
智驾车技术栈 | 两万字综述:自动驾驶中基于Lidar点云的3D目标检测深度学习方法
基于点云 / RGBD的3D视觉检测技术
3D视觉技术相较于2D视觉能获取更丰富更全面的环境信息,已经成为机器人导航、无人驾驶、增强/虚拟现实、工业检测等领域的关键技术.当前基于2D的的计算机视觉技术日趋成熟,在很多领域取得了很不错的进展,但我们真实的世界是三维空间,利用2D的技术对真实世界进行建模存在先天的缺陷——深度信息缺失,我们不能从2D图片中获得物体的绝对尺度和位置,而这一点在点云中不会存在问题.“从单幅图像到双目视觉的3D目标检测算法”介绍了基于单目(monocular)视觉以及双目(binocular)视觉的3D目标检测算法,单目做3D检测完全是数据驱动,通过机器学习模型结合摄影几何的约束去拟合3D空间的数据分布;双目视觉会有额外的视差信息,可以重建出景深信息,所以可以得到比单目视觉更强的空间约束关系,在3D目标检测任务重的精度相比单目会更好.
SIGAI学习与实践平台
2019/08/22
2.9K0
基于点云 / RGBD的3D视觉检测技术
@马斯克:只凭一个摄像头,3D目标检测成绩也能媲美激光雷达
靠一个摄像头拍下的图像做3D目标检测,究竟有多难?目前最先进系统的成绩也不及用激光雷达做出来的1/10。
量子位
2018/12/19
7570
@马斯克:只凭一个摄像头,3D目标检测成绩也能媲美激光雷达
论文翻译:Deep Learning on Radar Centric 3D Object Detection
即使许多现有的3D目标检测算法主要依赖于摄像头和LiDAR,但camera和LiDAR容易受到恶劣天气和光照条件的影响。radar能够抵抗这种情况。近期研究表明可以将深度神经网路应用于雷达数据。本论文提出一种基于深度学习的radar 3D 目标检测。据我们所知,我们是第一个展示基于深度学习的radar 3D 目标检测模型,该模型是在雷达的公共数据集上训练所得。为了克服缺乏雷达标记数据的问题,我们利用大量的LiDAR点云数据,将其转换为类似radar的点云数据和有效的雷达数据增强技术。
yzh
2020/11/09
1.1K0
商汤科技提出 SparseLIF | 高性能全稀疏3D目标检测器,性能 & 鲁棒性 达到 SOTA 水平!
在提交之时(2024/03/08),SparseLIF在nuScenes数据集上取得了最先进的性能,在验证集和测试基准上都排名第一,明显优于所有最先进的3D目标检测器。
AIGC 先锋科技
2024/07/08
6940
商汤科技提出 SparseLIF | 高性能全稀疏3D目标检测器,性能 & 鲁棒性 达到 SOTA 水平!
推荐阅读
相关推荐
从2D到3D的目标检测综述
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档