Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >仿真环境跟车2分钟,就让自动驾驶系统撞上马路牙子,攻破率超90%,多传感器融合系统都失效

仿真环境跟车2分钟,就让自动驾驶系统撞上马路牙子,攻破率超90%,多传感器融合系统都失效

作者头像
量子位
发布于 2023-03-10 06:41:51
发布于 2023-03-10 06:41:51
4220
举报
文章被收录于专栏:量子位量子位
鱼羊 萧萧 发自 凹非寺 量子位 报道 | 公众号 QbitAI

自动驾驶领域目前最强的MSF(多传感器融合)定位算法,再次被攻破了。

攻击之下,平均30秒内,正常行驶中的自动驾驶汽车就撞上了马路牙子:

不仅GPS被忽悠瘸,LiDAR、轮速计和IMU一起上都没能阻止。

并且,攻击算法的成功率竟然达到了90%以上。

连多传感器融合定位算法达到SOTA的百度Apollo,在仿真环境也中了招。

这项最新研究,来自加州大学尔湾分校(UCI),目前已发表在信息安全领域四大顶会之一的USENIX Security 2020上。

多传感器融合如何被忽悠?

GPS欺骗是目前常见的一种攻击手段,并且在智能手机、无人机、游艇,甚至特斯拉汽车上都能生效。

有调查显示,自2016年以来,在俄罗斯就发生过9883起GPS欺骗事件,影响了1311个民用船只系统。

不过,在自动驾驶业界,研究人员们通常认为多传感器融合(MSF)算法,能有效对抗GPS欺骗。

但加州大学尔湾分校的研究人员们却通过仿真环境测试发现,桥豆麻袋,这里面还有漏洞可以钻。

MSF方法安全性分析

研究人员通过实验分析发现,由于传感器噪声和算法误差等实际应用中存在的动态因素的影响,MSF会出现可信度相对降低的窗口期。

在此期间,GPS欺骗能够导致MSF输出的偏差呈指数级增长。

根据分析日志,研究人员发现,在这种情况下,LiDAR输入实际上变成了离群值,无法提供修正。

也就是说,被忽悠瘸了的GPS在某种程度上成了自动驾驶汽车定位的主导输入源,会导致多传感器交叉验证的机制失效。

研究人员称此为接管效应(take-off effect)。

FusionRipper攻击方法

基于接管效应,研究人员设计了名为FusionRipper的攻击方法,能够抓住接管漏洞出现的窗口期,对行驶中的自动驾驶车辆进行攻击。

攻击方式有两种:

其一,是车道偏离攻击。目的是让目标自动驾驶汽车向左或向右偏离车道,直至驶出路面。

其二,是错道攻击。目的是让目标自动驾驶汽车向左偏离,驶入逆向车道。

攻击一旦成功,造成的危险是显而易见的:撞上马路牙子,掉下公路悬崖,撞上对向来车……

需要说明的是,在这项研究中,研究人员假设攻击者可以发起GPS欺骗来控制目标车辆的GPS定位,导致受攻击的GPS接收机输出置信度高但实际误差大的位置信息。并且,攻击者可以在攻击过程中实时跟踪受害车辆的物理位置。

攻击方法具体分为两个阶段。

首先是漏洞分析。在这一阶段,攻击者开始GPS欺骗,并在MSF可信度下降的窗口期出现时,测量目标自动驾驶车辆的反馈信息来进行分析。

识别出窗口期之后,就进入攻击性欺骗阶段,即攻击者开始进行指数级欺骗,以触发接管效应,快速诱发出最大偏差。

FusionRipper有多猛

那么,这样的攻击算法,成功率有多少呢?

研究者们首先采用了6种真实世界里的传感器,在仿真环境中对FusionRipper进行评估,每次实验的时间为2分钟。

其中,攻击成功的结果分为偏离正常车道行驶、和驶入逆向车道两种。

也就是说,在2分钟内,如果攻击算法让车子偏离了车道、或是开到了逆向车道上,那么攻击就成功了。

如下图,两种攻击方式分别可以实现至少97%和91%的成功率。

也就是说,在FusionRipper的攻击下,跟车2分钟内,自动驾驶汽车就有97%的几率偏离车道行驶,91%的可能开到逆向车道。

不仅如此,与其他攻击算法对比的结果发现,FusionRipper甚至能完美攻击目前「最强的」自动驾驶算法。

在3种比较先进的MSF算法上,研究者们将FusionRipper和普通的随机攻击算法进行了对比测试。

下图是测试的结果,可以看见,在JS-MSF和ETH-MSF这两种自动驾驶算法上,普通的随机攻击还是很有用的,导致车辆偏离车道的成功率会比导致其逆向行驶的成功率更高。

然而,当普通的随机攻击算法遇上BA-MSF后,就「蔫了」,从图中显示的数据结果来看,成功让汽车偏离车道、或是逆向行驶的几率,只有3.7%和0.2%。

相对的,FusionRipper算法却依旧保持了强劲的势头。

即使在面对BA-MSF时,FusionRipper也有97%的几率让自动驾驶汽车偏离轨道。

事实上,由于这种算法对攻击参数的选择非常敏感,研究者们提出了一种离线方法,可以在实际攻击前选出高效的攻击参数。

当然,这让攻击条件本身也受到限制,攻击者需要拥有与受害者型号相同的自动驾驶车辆,也就是需要有相同的传感器组,攻击才能被完成。

如下图,测试结果表明,这种离线方法在攻击时,最终能成功实现偏离车道和发生逆行的概率都至少能达到80%以上

听起来,这个漏洞后果很严重,不过研究者表示,能找到解决的办法。

这种攻击的根本原理,依旧是GPS信号欺骗。

如果利用现有的GPS信号欺骗检测技术(例如监控信号功率、基于多天线的信号到达角度检测、或基于密码认证的GPS基础架构),某种程度上可以进行防御,但这些现有技术,都无法完全解决问题。

从根本上来说,需要提高的是MSF的定位置信率,这是克服系统弱点的唯一方法,但尚不清楚目前何时能实现这样的突破。

不过,通过独立的定位源来交叉检查定位结果、减轻攻击,仍然是一个可行的方向,其中一种方法就是基于摄像头的车道检测。

当然,要实现这样的攻击,成本其实也并不低。

据作者介绍,硬件方面主要包括两个部分:价值在2500美元(约合1.7万人民币)左右的高端GPS spoofer,以及一辆能够实时跟车、精准定位目标车辆的自动驾驶车辆。

所以,研究者表示,文中提到这种攻击算法可能被应用的一种比较现实的情况,是攻击者是自动驾驶行业的竞争对手。

瞄准最强自动驾驶开源系统

不挑特斯拉,不选谷歌,团队这次专门挑了百度的Apollo下手,原因何在?

对此,论文一作、UCI在读博士生沈骏杰表示,选择Apollo的原因,其实比较现实:它的系统开源

Apollo有着目前世界上最大的自动驾驶开源社区,影响范围广、便于研究。

当然,选择Apollo的原因也不仅于此。

百度Apollo MSF(BA MSF),刚好是生产级多传感器融合算法实现的经典案例。

这次用来实验的Apollo系统,已经通过了现实中厘米级精度的评估,不仅算法定位的方式非常先进,而且是基于MSF的定位算法中「最靓的仔」(SOTA)。

不仅如此,Apollo工程师此前也用实验证明,其自动驾驶系统可以通过多传感器融合等方式来防御GPS信号欺骗。

能带偏毫无防备的自动驾驶系统,那不算什么。

但,如果能拐跑这种自带防御能力的高级系统呢?

在这种情况下,Apollo就算是躺着也能「中枪」了:

研究团队的算法,直接就带偏了「多传感器融合」这一防御算法。

他们在实验时,特意将Apollo作为一个案例,并发现通过特定的GPD信号欺骗方式,可以让汽车在某些情况下发生大于10m以上的偏移,并且这种攻击成功率在90%以上。

作者表示,目前他们已经联系了29家自动驾驶公司,就这一新攻击算法进行了交流。在收到的回复里,已经有17家开始针对这个问题展开调查。其中有1家已经开始着手研发防御/缓解手段。

这种攻击有现实可行性吗?

百度Apollo也同样和研究团队进行了一系列沟通。

对于这项技术,Apollo官方回应,在接到研究报告的第一时间,出于对人身安全、无人车安全的极大重视,他们已经在现实环境中对实车进行了测试。

不过,与研究团队给出的仿真结果不同,Apollo的工程师发现FusionRipper对实车并没有影响。

Apollo方面还进一步进行了解释:无人车是软、硬件结合的产物。真正投入运营的车辆,无论是硬件设备还是软件系统,与实验室条件完全不同。

在实际测试,Apollo实车采用RTK GPS技术,该技术定位精度在厘米级别,远高于平常所用的GPS接收器的米级别精度。如果受到论文所假设的欺骗干扰,不能产生厘米级置信度的错误RTK。 如果试图欺骗GNSS接收机并产生错误的RTK结果,需要极高的硬件成本,对抗数十个卫星校验,以及车上双天线校验,理论上几乎不可能完成。最后,Apollo有多传感器融合和GPS伪造检测能力辅助识别欺骗。

另外,Apollo工程师指出,该项研究采用的Apollo MSF是2018版本,之所以能在仿真场景中攻击成功,是因为当时版本中的MSF并未实时将LiDAR等传感器数据与GNSS位置信息进行强校验。

而在最新的工程实践中,Apollo已经对此完成了优化。即使攻击者通过近距离长期尾随自动驾驶车辆,并持续发射GPS欺骗信号,导致无人车车载高精度接收机的所有信道都被欺骗,最终位置输出偏差,MSF也可以通过新增的相对稳定、不受外界干扰的激光定位作为观测值强校验,进行规避。

Apollo方面还建议,类似的硬件安全研究,应该在真实环境中进行进一步测试,以便最终落地工业。为此,Apollo未来也计划与各个高校建立合作。

说到底,把自动驾驶车辆忽悠瘸,本就不是攻防研究的本质目的。

挖掘现有方法背后的安全问题,让自动驾驶系统更加安全,才是相关研究的意义所在。

相信开放的技术交流、合作,也会让我们离更加安全的自动驾驶更进一步。

你说呢?

传送门:

项目链接:https://sites.google.com/view/cav-sec/fusionripper

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

「百度AI开发系列课」免费报名

5分钟上手,10分钟定制高精度AI模型,硬核百度EasyDL,小白也能学!

10.21日起,3期公开课带你0门槛轻松学AI开发、实现AI模型训练与部署!扫码添加量子位小助手(qbitbot12)、加入课程直播群吧~

p.s.完成课堂任务还有机会赢取李彦宏新书《智能经济》哦~

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
看不见的障碍物:首个针对自动驾驶多传感器融合感知的漏洞攻击
本文的研究内容来自加州大学尔湾分校(UC Irvine)的一个专攻自动驾驶和智能交通的安全研究团队,该团队由Qi Alfred Chen教授指导。5月份,该团队在IEEE S&P 2021(计算机安全四大顶会之一)上发表了“工业级L4自动驾驶系统里的感知模块的安全”的研究结果,并且由陈老师的博士生Ningfei Wang进行汇报。FreeBuf特此报道。
FB客服
2021/07/02
8660
强化学习20分钟,剑桥博士教汽车学会自动驾驶!
【新智元导读】剑桥大学两位博士创办的公司使用强化学习算法,无需密集标注的3D地图,无需人工设计的规则,让汽车在短短20分钟内学会了自动驾驶。公司成立不到50天,已经拿到了优步首席科学家的投资。
新智元
2018/07/31
6040
强化学习20分钟,剑桥博士教汽车学会自动驾驶!
自动驾驶汽车硬件系统概述
如果说人工智能技术将是自动驾驶汽车的大脑,那么硬件系统就是它的神经与四肢。从自动驾驶汽车周边环境信息的采集、传导、处理、反应再到各种复杂情景的解析,硬件系统的构造与升级对于自动驾驶汽车至关重要。
刘盼
2018/07/26
2.1K0
自动驾驶汽车硬件系统概述
特斯拉两款汽车被曝可遭到GPS欺骗攻击
近日,Regulus Cyber公布了一项研究,发现特斯拉的两款车Model 3和Model S存在一些“问题”,容易受到针对导航系统的网络攻击。
FB客服
2019/06/28
8970
特斯拉两款汽车被曝可遭到GPS欺骗攻击
自动驾驶汽车传感器融合系统及多传感器数据融合算法浅析
“自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上是依靠传感器来实现的。重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多数路面上行驶车辆内的ADAS都是独立工作的,这意味着它们彼此之间几乎不交换信息。只有把多个传感器信息融合起来,才是实现自动驾驶的关键。” 现在路面上的很多汽车,甚至是展厅内的很多新车,内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统(ADAS)。 这些系统的数量将会随着新法案的通过而不断增加,例如在美国,就有强制要求安
刘盼
2018/03/16
4K0
自动驾驶汽车传感器融合系统及多传感器数据融合算法浅析
畏首畏尾的自动驾驶安全风险:自动驾驶规划中语义DoS漏洞系统化分析
机器之心专栏 机器之心编辑部 这项将在 4 月底正式发表于 NDSS 2022(计算机安全四大顶会之一)的研究,揭示了自动驾驶场景下多个以前未知的语义 DoS 漏洞。 论文链接:https://www.ndss-symposium.org/wp-content/uploads/2022-177-paper.pdf 项目网站和演示视频:https://sites.google.com/view/cav-sec/planfuzz  如今,高等级自动驾驶(AD)车辆,即在大多数情况下可以在没有人类驾驶员的情况
机器之心
2022/04/27
3830
畏首畏尾的自动驾驶安全风险:自动驾驶规划中语义DoS漏洞系统化分析
自动驾驶常用传感器概要
自动驾驶技术涉及的环境感知传感器主要包括视觉类摄像机(包括单目、双目立体视觉、全景视觉及红外相机)和雷达类测距传感器(激光雷达、毫米波雷达、超声波雷达等),如图1所示。这些传感器目前都可以找到开源的SDK快速开发。小可根据这几年的开发经验,特此整理了目前常用传感器的一些API,方便初学者节省开发时间。当然,对于可以根据需求自主定制传感器的土豪公司而言,本篇显得多余,请绕行。本篇主要适用于自动驾驶初级开发者,主要面向高校和科研院所的研究人员,以性能为主,较少考虑成本问题。笔者主要基于Linux系统进行开发,所介绍的API均以Ubuntu14.04及以上版本为准(4月份要出Ubuntu18.04了,2年一个稳定版本,值得期待)。
机器人网
2018/07/23
1.4K0
自动驾驶常用传感器概要
摄像头和激光雷达都被蒙蔽?UCI首次提出针对自动驾驶多传感器融合感知的攻击
机器之心专栏 作者:汪宁非 来自加州大学尔湾分校(UC Irvine)的研究者发现,L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知(Multi-Sensor Fusion based Perception)技术存在一个安全漏洞,使得攻击者可以 3D 打印出一个恶意的 3D 障碍物,放在道路中间,从而让自动驾驶车辆的 camera 和 LiDAR 机器学习检测模型都识别不到。这项研究已经正式发表在计算机安全四大顶会之一 IEEE S&P 2021。 在自动驾驶系统里,「感知」实时周围物体是所
机器之心
2023/03/29
5500
摄像头和激光雷达都被蒙蔽?UCI首次提出针对自动驾驶多传感器融合感知的攻击
自动驾驶汽车到底涉及了哪些技术?
作者:陈光 上汽集团 | 高精度地图&环境建模工程师 量子位 已获授权编辑发布 Google从2009年开始做自动驾驶,到现在已有8个年头。8个年头的技术积累还无法将自动驾驶技术量产落地,可见自动驾驶
量子位
2018/03/27
8000
自动驾驶汽车到底涉及了哪些技术?
【智驾深谈】自动驾驶潜在突破点:传感器与车载集成系统(万字干货)
作者:黄武陵 【新智元导读】黄武陵从事无人车系统研发、无人车标准评估体系构建、无人车挑战赛等工作多年,每次发表观点都非常详尽,本文从自动驾驶近期热点入手,结合挑战赛八年积累,深入分析了传感、感知、车联
新智元
2018/03/23
1.7K0
【智驾深谈】自动驾驶潜在突破点:传感器与车载集成系统(万字干货)
我黑掉路边广告牌,就能让特斯拉自动驾驶系统紧急停车
‍这段广告来自麦当劳,但有人在上面「动了手脚」:除了汉堡和薯条,还有一个「STOP」交通标志一闪而过。
机器之心
2020/10/27
5870
我黑掉路边广告牌,就能让特斯拉自动驾驶系统紧急停车
自动驾驶「无视」障碍物:百度研究人员攻陷激光雷达
用激光雷达进行目标检测是目前汽车用到的主流方法,这种传感器精度高、成本高昂、技术门槛高。如果昂贵的价格能买来安全,那么也能显示其价值。但最近,来自百度研究院、密歇根大学以及伊利诺伊大学香槟分校的研究者提出了一种可以「欺骗」激光雷达点云的对抗方法,对激光雷达的安全性提出了质疑。
小小詹同学
2019/07/16
8800
自动驾驶「无视」障碍物:百度研究人员攻陷激光雷达
无人驾驶技术课——定位(2)
本节将介绍自动驾驶汽车的定位技术下,包括:激光雷达定位和视觉定位,以及Apollo框架是如何解决定位问题的。
刘盼
2018/12/29
1.2K0
【自动驾驶专题】| Apollo自动驾驶 |定位技术
定位(Location)是让无人驾驶汽车知道自身确切位置的技术,这是一个有趣且富有挑战的任务,对于无人驾驶汽车来说非常重要。
用户7623498
2020/08/04
2.2K0
【自动驾驶专题】| Apollo自动驾驶 |定位技术
自动驾驶:摆脱3D地图,MapLite系统只需GPS和传感器即可导航
在导航缺失的路段行驶自动驾驶汽车是一项艰巨的任务。实际上可供自动驾驶汽车行驶的路段也不多。像谷歌这样的公司只会在大城市测试车队,他们花了大量时间,精心制作了城市的车道、路缘、出口匝道和停车标志等位置的3D标记。
AiTechYun
2018/07/27
5490
自动驾驶:摆脱3D地图,MapLite系统只需GPS和传感器即可导航
麦肯锡专家指出自动驾驶主要挑战与发展方向
麦肯锡专家Kersten Heineke、Philipp Kampshoff、Armen Mkrtchyan和Emily Shao等人撰文讨论了自动驾驶面临的主要挑战与发展方向,主要内容如下: 自动驾驶汽车(AV)无疑开创了交通运输行业的新时代,但该行业仍然需要克服一些挑战,自动驾驶技术才能变得实用。高级辅助驾驶系统(Advanced Driver Assistance Systems,ADAS)解决方案已经能够减轻驾驶负担,让驾驶变得更安全。但在某些情况下,技术也会带来问题。其中一个就是,人类过度
人工智能快报
2018/03/14
8240
麦肯锡专家指出自动驾驶主要挑战与发展方向
5G 时代自动驾驶有什么新机遇?需要学习哪些知识?
近日,腾讯无线网络与物联网技术负责人李秋香与高校科研教授、产业链、运营商等各行业的嘉宾一起参与了知乎「 科技共振之 5G+ 」活动,除了专业的5G探讨,也聊了不少和开发者们息息相关的问题。基于此,云加社区联手知乎科技,从知乎超过 10000 条 5G 相关问答中精选内容落地社区专题「 共探 5G 」。
腾讯云开发者社区
2019/12/06
1.7K0
自动驾驶汽车硬件与软件技术介绍
来源:知乎 概要:本文详细介绍了自动驾驶汽车的硬件和软件,以及所需要做的准备工作,每个研发者或者准备投身于无人驾驶领域的人都应该好好看一下。 全球有数不清的公司在忙着研发自动驾驶汽车,他们的产品也千奇百怪,不过基本思路和核心技术是类似的,本文详细介绍了自动驾驶汽车的硬件和软件,以及所需要做的准备工作,每个研发者或者准备投身于无人驾驶领域的人都应该好好看一下。 大家都知道智能车(Intelligent Vehicle)是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统,它集中运用了计算机、现
企鹅号小编
2018/01/29
3K0
自动驾驶汽车硬件与软件技术介绍
自动驾驶综述|定位、感知、规划常见算法汇总
这一部分概述了自动驾驶汽车自动化系统的典型体系结构,并对感知系统、决策系统及其子系统的职责进行了评述。
磐创AI
2020/05/26
3K0
自动驾驶综述|定位、感知、规划常见算法汇总
【自动驾驶专题】| Apollo自动驾驶 | 高精度地图
说到地图,我们从一个简单的问题开始。你最常用的导航地图是什么?可能是你的车载地图或手机地图。
用户7623498
2020/08/04
1.5K0
【自动驾驶专题】| Apollo自动驾驶 | 高精度地图
推荐阅读
相关推荐
看不见的障碍物:首个针对自动驾驶多传感器融合感知的漏洞攻击
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档