那些专家们曾经担心过的 AI 算法漏洞是可以实现的,没想到过的也可以实现。
刚刚过去的 1024,极棒大赛上演了全新形式的人机攻防对决。
劫持正在飞行的无人机、干扰自动驾驶汽车 「致盲」、戴上口罩刷别人的脸结账,在上周六的 GeekPwn 2020 国际安全极客大赛上,全球顶级白帽黑客们向我们揭开了 AI 模型、物联网、5G 等领域的不少未知漏洞。
本次大赛,有超过 600 支来自不同科技公司、大学的极客队伍报名参赛,最终有近 50 支在 10 月 24 日共同面向 500 万元奖金池发起了冲击。
决赛开始之前,今年的 GeekPwn 大赛早在 3 月即开放了各赛题的报名,4 月份各项比赛公布规则,在 8 月底 CAAD 线上比赛宣告结束。10 月 24 日来到现场的团队,各个身怀绝技。
他们面临的挑战也不同以往——主办方为选手们准备了全新的挑战。今年的八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下还分为多个单项比赛,关注不同的方向。
其中,腾讯安全联合 GeekPwn 举办的国内首个新基建安全大赛涵盖了 5G、物联网和人工智能,其中各个挑战者们针对车联网、无人机、安检设备、智能电表等目标的破解,让人们对这些产业的安全有了新的认识。
戴上口罩,刷别人的脸
刷脸门禁、手机解锁、机场安检…… 使用人工智能算法的人脸识别,最近已经成为人们每天都在使用的技术。因为 2020 年初的新冠疫情,越来越多佩戴口罩的情形为人脸识别带来了新的挑战。有一些科技公司已经推出了即使戴上口罩也能识别出人脸的新技术,据称准确率可以达到 99%。但另一方面,人们佩戴的口罩覆盖了人脸的很大一部分面积,也为加入对抗样本进行人脸识别破解留下了「后门」。
这场挑战模拟了人脸识别自动售货机和 ATM 取货场景,选手们可以利用 AI 算法自制印上攻击样本的口罩遮挡自己的面部,需要在 150 秒内让售货机与取款机人脸识别算法识别成主办方指定的目标,包括蒋昌建、「美国队长」克里斯 · 埃文斯、伊隆 · 马斯克等人。
在这其中,挑战的目标还包括白盒算法(ArcFace 算法)与黑盒算法两个赛道。顾名思义,黑盒算法是指攻击者事先并不知晓人脸识别算法的构成,破解难度更大。
GeekPwn 创始人王琦(大牛蛙)戴上了假冒主持人蒋昌建的口罩:AI 对抗样本的攻击,并不是把目标人脸的一部
比赛对于两台机器各设置了三个难度递增的关卡,每一关口罩的有效攻击区域依次递减,对抗样本图案在口罩上的面积从 75%,降低至 67%,再降低至 50%,难度逐渐增大,前一关挑战失败则意味着失去后一关的挑战资格。
入围决赛的团队包括 AFMask 团队,海棠初白团队,来自清华大学和北京大学的动动动动弦团队,以及来自清华大学计算机系和 RealAI 的 TSAIL 队。
戴上口罩,我就能变脸取钱吗?我们时常会听到各家厂商谈起「金融级别安全」的支付技术,要想破解跟钱有关的人脸识别系统,并不是说说那么简单的,事实上比赛的进程也验证了人们的预料。
第一个出场的动动动动弦团队,在第一轮两个挑战均告失败;第二组 AFMask 团队两项第一轮均破解成功,但在第二轮两项均挑战失败。TSAIL 和海棠初白两队也都倒在了第一轮。
刷脸支付难以破解,或许也是因为挑战的规则略显严格:每次尝试仅有 45 秒时间,只有一组队伍闯过了第一关。另外由于比赛只要求「置信度」达到 50% 即告闯关成功,在现实世界中支付环境的要求显然更高,对于我们来说,刷脸支付被「盗号」的可能性仍然很低。
让 Autopilot「自动撞墙」
自动驾驶虽然距离大规模应用还有一段时间,但是在量产车上已经有不少可以让司机解放双手的辅助驾驶功能了。对于不少人来说,有没有 L2 级自动驾驶已经成为了最近买车时着重考虑的因素。在本届极棒大赛中对自动驾驶的干扰挑战,向我们展示了这种技术的一些隐患。
进行本次挑战的白帽黑客吴潍浠表示,要对汽车自动驾驶系统中的毫米波雷达进行干扰,采用的设备体积很小,价格也不贵。目前毫米波雷达是各类传感器中公认稳定性较高的方式。
我们知道,目前的一些辅助驾驶技术,如特斯拉上的 Autopilot,是通过摄像头和雷达来收集路面信息的,不同汽车选择的传感器不太一样(如特斯拉就没有用到激光雷达),但算法会收集所有的输入信息进行综合判断。技术人员制作的攻击用白色小盒子,看起来很不起眼,但它可以造成的扰乱效果却可以「致命」。
首先是没有干扰的测试,汽车的自动驾驶会在遇到纸箱堆成的「墙」面前停下来。
把干扰器放到「墙脚下」,令人疑惑的现象出现了:汽车在进入自动驾驶模式后,看到眼前由纸箱堆成的墙之后似乎犹豫了一下,有一个减速过程,但无法识别前面的物体又加速撞了上去。最终「事故」发生,在实际环境下的黑客攻击宣告成功。
在很多带有自动驾驶功能的汽车中,只要有一种传感器给出危险讯号,则系统就会指示车辆刹停。但在实验中汽车仍然撞向障碍物,这次挑战的成功,让人们意识到在自动驾驶汽车进入实用化之前,还有很多工作要做。
据主办方 GeekPwn 介绍,毫米波雷达攻击的测试结果已提交给特斯拉方面,黑客们也将帮助车企对自动驾驶安全进行持续改进。
在 10 月 24 日的比赛现场,还有很多挑战成功的项目:来自 TQL(清华 - 奇安信联合研究中心)的安全研究人员利用位未知安全漏洞以云端接入的方式,对正在作业的植保无人机发起攻击,成功获取了植保无人机的最高使用权限,使其偏离原定航道。来自凤凰解码(Phoenix Decoder,PhD)的白帽黑客也成功利用视频协议中的未知安全漏洞,以网络接入云端的方式,对智能摄像头实施了远程攻击。
这些闻所未闻的漏洞,为什么都出现在 GeekPwn 上?
最近一两年里,我们见证了人工智能技术的大量落地。在每天都面临各种变化的安全领域,新的形势与挑战正在出现。实际上,AI 安全有两层含义:即用 AI 方法解决安全问题,以及 AI 技术的安全防护问题。
「GeekPwn 曾经举办过的『数据追踪挑战赛』,鼓励人们用 AI 的方法从大量的数据中快速、准确的定位恶意网站或恶意应用,」极棒大赛负责人杨泉说道。「在 AI 技术大量进入实践阶段时,其自身的安全问题,又成了人们需要重点关注的领域。GeekPwn 连续多年举办的 CAAD(对抗样本攻防赛)比赛对人工智能可能存在的安全问题进行赛题设置,通过比赛的方式暴露 AI 算法的缺陷,进而促进人工智能更健康的发展。」
站在攻击者的视角将威胁预演,提前暴露风险,并警告被破解厂商,是提升数字安全防御体系长久以来一直通行的方式,这也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已经是第七届了,在这些年的极棒大赛里,我们见证了 AI 技术的大规模应用,以及「对抗样本攻击」等破解技术的兴起,极客们在赛场上已经披露了数百个高危漏洞。
今天,每个人都在使用各种各样的电子设备,这说明安全漏洞在我们的生活中普遍存在。然而我们一直在享受新技术带来的便利,却忽略了技术背后存在的隐患,极棒通过挑战比赛的方法将未知漏洞展示出来,让人们对于新技术有了更多的认识,同时也唤起了对于技术安全防范的重视。
除了发现漏洞,还有培养新人。本届 GeekPwn 还举办了首届「少年黑客马拉松大赛」,吸引了很多十到十六岁的黑客前来参赛。相比热度越来越高的机器学习,信息安全有时会被人们认为门槛过高,不过杨泉对此有着不同的看法。
「各个行业都有自己的入行『门槛』,我不认为行业不同,门槛就有高下,」杨泉表示。「AI 现在正被人热捧,可是人工智能已经经历了六七十年默默无闻的发展历史。目前看网络安全的人才有很大缺口,是因为近些年网络安全越来越受到重视,行业需求越来越大。至于门槛高低,从个体来谈,更多的是对网络安全行业的热情和投入,只要具备一定的基础知识,加上必须的努力和研究,就会取得不错的成绩。」
极客们还将继续挑战自我,为构建安全的应用作出更多贡献。而极棒大赛的组织者们表示,明年的 GeekPwn 还会有更多新比赛出现。但是,始终不变的是发现、鼓励、培养安全人才。GeekPwn 希望能让更多人了解、理解安全,让人们生活的更加安全。
领取专属 10元无门槛券
私享最新 技术干货