Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >浅析自动驾驶感知任务的4D 标注关键技术

浅析自动驾驶感知任务的4D 标注关键技术

原创
作者头像
liddytang
修改于 2024-09-30 03:31:06
修改于 2024-09-30 03:31:06
7750
举报
文章被收录于专栏:解决方案解决方案数据挖掘

今年各大车企纷纷加入端到端决战中,端到端模型训练需要大批量的4D标注数据,如何高效的产生大量的4D标注数据是当今的技术难点和热点,依赖于传统的人工标注针对大量的数据标注任务已经不太现实。本文结合日常工作和业界通用的解决方案聊聊4D数据处理产线搭建的难点和关键技术实现。

一、目标和主要问题

  • 4D 标注:3D空间 + 时序(动态物体)维度上进行标注;
  • 以BEV为代表的感知任务输出空间从2D透视图像空间转换到3D空间,相应标注从2D空间也转换到3D空间;

当前面临的主要问题:

  • 如何提升人工标注效率:例如多传感器交叉验证标准效果;
  • 时空一致性:时间同步偏差 < 5ms;
  • 运动补偿;
  • 工厂标定和在线标定,外参标定同步:主要涉及lidar、camera、GPS、IMU、Vcs坐标系之间的标定;

二、感知任务

静态感知:路面要素、灯牌锥、广告牌(泊车停车场等)。

物理层:路面连续要素如车道线、路面离线要素如路面标识符,空中静态要素如灯牌,半动态层主要是像锥桶之类容易被移动的物体。

逻辑关系:车道线链接关系,车道和红绿灯的关系。

动态感知:运动车辆和行人,包含检测、跟踪、预测,此外还有速度、加速度的属性。

通用障碍物感知:针对场景的非白名单的物体,目前业界主流的感知任务Occ和Occ Flow,这类任务的基本原理是将空间划分为voxel,预测每个voxel被占据情况以及voxel速度。

自动驾驶分段端到端大模型技术的驱动下,4D感知任务标注技术随之衍生,目前各大供应商基于模型持续迭代其工艺。自动驾驶分段式端到端模型需要大量的多模态的数据,标注工艺的复杂度和效率是当前4D-Label的主要难点,提供给感知的数据首先考虑的是质量、数量和多样性。

三、面向采集场景的4D-Label数据多模标注方案

完整的数据产线对数据迭代效率至关重要,自动驾驶感知数据产线主要包含数据采集、数据合规、数据云端上传、数据预处理、数据预标注、数据人工标注、数据质检、数据验收。

3.1 数据采集

涉及多传感器,Lidar/Camera/IMU/GPS/GNSS等;目前业界常用的是周视7V摄像头+环视4V摄像头+1Lidar。

3.2 4D重建

采集数据后,实现点云或者Object级别的重建;

标定误差:Lidar-camer重投影误差<3px,在线标定角度误差<0.1deg。

时间同步:时间同步偏差 < 5ms;

3.3 模型预标注

为了减少人工标注的成本并提升效率,借助云端大模型的能力。同时预标注结果的统计对于数据采集也有指导意义。

这一部分是提升效率的突破点之一:

  • 数据产线基线版本稳定后,需要补充模型需要的特定场景(拥堵路段)或者特定分布(100-200m)的数据,利用云端预标注将大大节约数据扭转时间。
  • 节约人力成本、时间、效率:3D预标注模型若持续迭代且效果尚可的基础上,人工校验、补充的时间将比人工直接标注的时间大大减少。

3.4 人工标注与质检

人工标注3D及自动质检脚本研发;人工标注重点关注标注工艺、标注误差;质检基于脚本和模型实现。人工标注耗时长,返工是最得不偿失的做法,因而小步迭代验证数据可用性后再逐步批量标注。

3.5 多传感器交叉验证

例如在2D图像上利用大模型的预刷,得到一些标注结果,同时和3D空间的标注结果进行对比,去除差异化比较大的数据。

3.6 数据处理pipeline

今年自动驾驶端到端在国内席卷而来,支撑端到端大模型的高算力、大数据量的云端技术建设亟不可待。传统的云厂商,例如阿里、腾讯难有针对智能驾驶领域完备成熟的云基建和自动驾驶工具链。而地平线、商汤科技、MMT对业务板块虽有优势,但缺乏业务驱动,成熟落地和优化迭代是问题,就像英伟达几年前提出了端到端大模型,但是最终落地商用的还在车企。最佳供应商可能是华为,但是华为的“强势”也是众多车企难以接受的(自动驾驶这场赛事,国内传统车企沦为华为供应商或者特斯拉供应商都有可能,一场精彩的博弈已经拉开帷幕)。

言归正传,搭建完整的数据处理pipeline核心如下:

  1. 数据传输:基于端到端的数据模态复杂,单clip可达几个G,数据采集单台车TB/天级别,目前国内自动驾驶车企每天上则几百台甚至上千台车的采集量,数据传输效率至关重要,目前,业界通常在数据采集至上传,数据预标注推理,数据人工标注(这个环节如果云端处理平台和工具链隔离开,数据传送成本极高),这三个环节存在效率瓶颈。
  2. 数据存储:大批量的模态数据如何管理,如何支撑大模型训练,如何支撑多模态模型构建复杂的数据挖掘应用。针对存储的挑战也越来越大,目前阿里云针对自动驾驶解决方案采用了多级存储协同并用,并做了诸多定制化改造。
  3. 数据统计/监控:是对每个环节数据质量数据数量把控的关键,数据监控和数据看板对数据标注和数据挖掘极具指导意义,同时数据统计是实现数据多样性的有力评估指标。

3.7 静态要素自动化标注

静态要素自动化标注主要分为两部分:

  • 路面静态要素标注:路面静态要素主要包含:车道线、路沿、红绿灯等,路面静态要素的标注本质上是对路面进行建模,也就是局部的建图,相关技术可以参考业界地平线单趟重建和多趟聚合的方式。
  • 其他静态要素:采用Lidar + camera后融合的方式实现类似于锥桶、水马、交通牌等3D真值全自动标注;

3.8 动态要素标注

动态要素标注涉及面很广,主要解决两个问题:其一,针对bev 3D感知以及端到端模型的真值需求,提供3D det,Tracking,速度,加速度状态真值。其二,采用Lidar 和 camera后融合的方式进行大模型预刷,结合图像2D感知结果cross check实现全自动标注。

3.9 通用障碍物标注

通用障碍物主要包含自动驾驶场景中一些通用的或者说是非白名单的障碍物,类似于异型车、宠物、石块等,该部分目前业界使用Occupancy技术解决,Occupancy将空间划分为均匀体素(voxel),有物体占据的地方标志为1,没有物体占据的地方标志为0。

四、云平台 & 工具链

前面已经说过,支撑模型快速迭代、数据闭环系统高效扭转,一个完善的、完备的智能驾驶数据处理平台相当重要,同时该平台最好兼容模型训练平台、仿真平台。端到端大模型的驱动下,大批量的数据传输成本很高,多平台共建势在必行。针对自动驾驶业务,对云端的主要述求有:

自动化模型训练平台:该部分难点在于高性能并行计算调度;

数据平台:数据平台主要用于采集数据和量产数据处理,难点在于数据传输、分布式存储、分布式数据处理、大规模数据存储,就数据挖掘而言甚至涉及到向量数据库、图数据库的引擎改造。

人工标注平台:自动驾驶技术更新迭代块,模型训练离不开大量的人工标注工作,因此针对现有的云端支持千级别人工并发标注的能力很重要。

仿真测试:自动驾驶场景挖掘数据需回归至仿真系统集成测试验证。

运用看板:最直观的观察数据扭转各个环节的状态的方式之一,通过看板我们可以纵向观测整个数据处理流程,横向可以观察数据分布、数据使用情况等。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Momenta 陈凯:Momenta 自动驾驶背后的底层技术及人才需求 | 职播间第 4 期(附 Momenta 招聘解读)
AI 科技评论按:目前全球汽车行业公认由美国高速公路安全管理局(NHTSA)和国际自动机工程师学会(SAE)提出的的分级制度,把自动驾驶分成 L0 到 L5 级,分别承担相应的职责,而 L4 作为级别第二高的无人驾驶,是指在特定场景下(如高速公路)可以在完全没有人干预时进行全自动无人驾驶,到现在为止,实现 L4 无人驾驶依旧是人工智能领域最具挑战性、最复杂的难题之一。
AI科技评论
2018/12/12
2K0
Momenta 陈凯:Momenta 自动驾驶背后的底层技术及人才需求 | 职播间第 4 期(附 Momenta 招聘解读)
自动驾驶 Apollo 源码分析系列,感知篇(一)
我是自动驾驶从业者,百度的 Apollo 是行业优秀的开源框架,近几年发展的比较快,基于对技术的热爱,我计划用 3 个月的样子来学习 Apollo 的源码,以提升自己的自动驾驶认知和技术。
Frank909
2020/12/21
2.8K0
自动驾驶 Apollo 源码分析系列,感知篇(一)
【智驾深谈】深度学习驱动的自动驾驶新主流框架盘点(附3篇论文)
【新智元导读】早想动笔写点深度学习在自动驾驶中的应用,无奈羁绊太多总也未能成行。最近两晚恰好李师傅怂恿而且大力支持,提供了大部分素材,揭开了目前的应用现状,让我再一次深刻认识到,深度学习或将成为自动驾驶领域的黑科技,姑且称之为“深度智驾”吧。本文结合Nvidia、 Mobileye、Comma.ai的自动驾驶框架研究现状,谈谈深度智驾的原理、优点和未来。 【特约编辑】小猴机器人,人工智能博士,自动驾驶技术爱好者,参与多个自动驾驶项目研发,有丰富的行业经验,尤其对决策规划控制方面了解深入。 大背景 基于深度
新智元
2018/03/23
1.9K0
【智驾深谈】深度学习驱动的自动驾驶新主流框架盘点(附3篇论文)
自动驾驶汽车硬件系统概述
如果说人工智能技术将是自动驾驶汽车的大脑,那么硬件系统就是它的神经与四肢。从自动驾驶汽车周边环境信息的采集、传导、处理、反应再到各种复杂情景的解析,硬件系统的构造与升级对于自动驾驶汽车至关重要。
刘盼
2018/07/26
2.1K0
自动驾驶汽车硬件系统概述
自动驾驶核心技术之三:环境感知
自动驾驶四大核心技术,分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分,不过基于视觉的环境感知是无法满足无人驾驶要求的。
CreateAMind
2018/07/24
4.9K0
自动驾驶核心技术之三:环境感知
平均交付准确率99%以上!又一大厂进军自动驾驶AI数据服务,教AI学会人类标注能力
允中 发自 凹非寺 量子位 | 公众号 QbitAI △AI数据是人工智能行业的燃料,在智能驾驶领域同样扮演着助推技术落地的角色 如今自动驾驶成为了人工智能领域最受关注、最具挑战和影响力最为广泛的产业方向,是推动全球汽车工业变革最重要的科技力量。 汽车正在向智能化转变,在自动驾驶落地较好的企业往往也具备强劲的市场竞争力。但目前智能汽车想要实现更高等级的自动驾驶,还有许多技术难点有待解决。 成熟的自动驾驶技术需要具备感知和决策两方面能力。 通过多种融合的车外传感器使汽车具备感知周围行驶环境的能力;决策则是
量子位
2023/02/28
3530
平均交付准确率99%以上!又一大厂进军自动驾驶AI数据服务,教AI学会人类标注能力
毫末智行,首推自动驾驶「ChatGPT」
机器智行原创 作者:于雷 AI大‍模型 DriveGPT 重塑汽车智能化技术路线。 2 月 17 日,毫末智行预告了即将发布自动驾驶生成式大模型 DriveGPT。与近几个月大火的 ChatGPT 一样,DriveGPT 同样都所采用了 Transformer 模型,同时也使用了 RLHF(人类反馈强化技术)算法进行强化训练;与 ChatGPT 使用自然语言文本进行训练不同,DriveGPT 使用的是驾驶场景数据进行模型训练,并通过不断引入真实人驾接管数据,让模型自我优化,逐步训练自己不断给出更高质量的答案
机器之心
2023/04/21
3110
毫末智行,首推自动驾驶「ChatGPT」
【机器学习】自动驾驶——智能交通与无人驾驶技术的未来
自动驾驶的概念源自20世纪60年代,但真正的突破发生在2000年代初期,谷歌、特斯拉等公司开始投入大量资源研发相关技术。如今,全球多家科技公司和汽车厂商都在积极布局这一领域,力求实现无人驾驶的未来。
2的n次方
2024/10/15
4690
【机器学习】自动驾驶——智能交通与无人驾驶技术的未来
Apollo自动驾驶之地图生产技术
在城市道路环境下,高精地图生产分为数据采集、数据处理、元素识别、人工验证四个环节。
李小白是一只喵
2022/03/21
6160
Apollo自动驾驶之地图生产技术
自动驾驶的技术架构和生态发展
我们先以汽车在现代科技领域的演进来开始这次的chat,最早的就是电动汽车,其中的代表无疑是特兹拉,相信大家对电动车还是比较熟悉的,这里就不展开说明了。接下来就是最近很火的共享车,以滴滴来讲,据滴滴官方报道平台用户3亿,车主1500万,日均订单有1400万,从1400万的数据来看订单数已经超过美团,大众点评,在中国互联网界仅次于阿里巴巴和京东,要知道滴滴是个非常年轻的公司,但是这1400万的日均订单也只占整个出行市场的1%,可见整个出行市场的天花板还远远望不到头。接下来就是车联网领域,车联网是个很广义的概念,
刘盼
2018/03/16
1.7K0
自动驾驶的技术架构和生态发展
【智驾深谈】自动驾驶潜在突破点:传感器与车载集成系统(万字干货)
作者:黄武陵 【新智元导读】黄武陵从事无人车系统研发、无人车标准评估体系构建、无人车挑战赛等工作多年,每次发表观点都非常详尽,本文从自动驾驶近期热点入手,结合挑战赛八年积累,深入分析了传感、感知、车联
新智元
2018/03/23
1.7K0
【智驾深谈】自动驾驶潜在突破点:传感器与车载集成系统(万字干货)
使用深度学习做自动驾驶,“PlusAI”希望在未来1-3年完成全工况L4级无人驾驶
近期接触的“PlusAI”也是一家使用深度学习做自动驾驶解决方案的公司,成立于2016年,在美国硅谷、北京、西安设有研发中心。PlusAI与包括斯坦福、西安交大在内的高校研究所有合作。PlusAI目前已经获得美国加州自动驾驶的测试牌照,这在创业企业中是比较少见的,同时,其自动驾驶原型试验样车已经在加州进行路测,目前已经测试了上万英里。 PlusAI已经吸纳了一线美元基金和个人商业领袖的投资及参与,包括一家地图公司,并与两家车企建立了合作。此外,PlusAI也在和国内地方政府在洽谈产业落地事宜。PlusAI
AiTechYun
2018/03/02
7700
浅析基于双目视觉的自动驾驶技术
单目视觉是Mobileye(ME)的看家法宝,其实当年它也考虑过双目,最终选择放弃。
3D视觉工坊
2022/03/11
9400
浅析基于双目视觉的自动驾驶技术
深度学习在自动驾驶感知领域的应用
本次直播课程是由深度学习资深研究者-杨阳博士从百度Apollo自动驾驶感知技术出发,讲解环境感知中深度学习的实用性与高效性。
AI科技大本营
2019/05/06
1.5K0
大盘点|三维视觉与自动驾驶数据集(40个)
简介:KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最大的自动驾驶场景下的算法评测数据集。该数据集用于评测立体图像(stereo),光流(optical flow),视觉测距(visual odometry),3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据,每张图像中最多达15辆车和30个行人,还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图,39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成,以10Hz的频率采样及同步。对于3D物体检测,label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc。
3D视觉工坊
2021/07/29
2K0
万字综述 | 自动驾驶多传感器融合感知
原文:Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
一点人工一点智能
2022/10/07
5.3K0
万字综述 | 自动驾驶多传感器融合感知
自动驾驶综述|定位、感知、规划常见算法汇总
这一部分概述了自动驾驶汽车自动化系统的典型体系结构,并对感知系统、决策系统及其子系统的职责进行了评述。
磐创AI
2020/05/26
3K0
自动驾驶综述|定位、感知、规划常见算法汇总
大模型来了,自动驾驶还远吗?关键看“眼睛”
感知系统是自动驾驶最重要的模块之一,被视为智能车的“眼睛”,对理解周围环境起到至关重要的作用。随着深度学习以及传感器技术的发展,感知系统呈现出迅猛的发展趋势,涌现出各种新技术,性能指标不断提升。本文将围绕感知系统架构、方法及挑战,结合驭势科技的具体实践深入探究自动驾驶感知技术。 作者 |耿秀军、李金珂、张丹、彭进展 出品 | 新程序员 感知系统架构与方法 目标的检测与跟踪是感知系统的两大基础任务,主要利用不同传感器数据输入,完成对周围障碍物的检测与跟踪,并将结果传递给下游规划控制模块完成预测、决策、规划、
AI科技大本营
2023/05/15
5120
大模型来了,自动驾驶还远吗?关键看“眼睛”
综述:生成自动驾驶的高精地图技术(2)
文章:High-Definition Map Generation Technologies for Autonomous Driving
点云PCL博主
2022/09/13
1.1K0
综述:生成自动驾驶的高精地图技术(2)
借力算法,海天瑞声驾驭自动驾驶“新引擎”
机器之心原创 作者:吴昕 2022 年的 3 月,或将被写入自动驾驶史册——美国颁布无人驾驶法规,中国也许将从政策层面允许 L3 自动驾驶乘用车上路,国内首条支持自动驾驶的快速路通车运营…… 毫无疑问,自动驾驶已经逐渐从快速迭代迈入大规模落地阶段。在这个 “临门一脚” 的关键时刻,想要让汽车本身的算法做到处理更多、更复杂的场景,不可或缺的是海量的场景数据支撑。 通过对话国内唯一 A 股上市数据服务商—海天瑞声,透视 AI 数据在助推自动驾驶实现的路上,所面临的机会与挑战。 一、自动驾驶数据迎来爆发期
机器之心
2022/03/24
3090
推荐阅读
相关推荐
Momenta 陈凯:Momenta 自动驾驶背后的底层技术及人才需求 | 职播间第 4 期(附 Momenta 招聘解读)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档