基于深度学习的End-to-End自动驾驶方案

智 享 导 读

—正文—

基于深度学习的 End-to-End 自动驾驶方案

基于深度学习（以 End-to-End 为主）的自动驾驶方兴未艾。百度拥有超大规模的训练数据，同时也在国内首次实车展示了这种自动驾驶。百度资深架构师郁浩就 Apollo 1.5 开放的最后一个核心功能：基于深度学习的 End-to-End 自动驾驶方案做了详细介绍。

Rule-Based 系统与 End-to-End 系统的对比

目前，对于自动驾驶系统的选择，业界有两种不同的看法和选择：传统的 Rule based 系统与 基于深度学习的 End-to-End 系统，这两种系统实现方式不同，在性能和应用上各有优缺点。

传统的 Rule-Based 系统：与 End-to-End 相对应的是传统规则式的无人驾驶系统，它经历了二三十年的研究和试跑过程，运用业界和学术界主流的 Rule-Based 系统，从车辆、到传感器感知、World Model、然后进行决策、控制、最后到车辆，形成了比较完整的闭环系统。不过，其在实际的应用上还是有比较明显的瓶颈：系统复杂（人工设计）、高精地图成本高（需要广铺以及实时更新），计算性能（资源浪费）等都是硬伤。而 End-to-End 方式能够很好的解决这些问题。

End-to-End 系统：人类在驾驶的时候有两种行为：第一种是潜意识行为，人们不需要知道路面的每一个特点，不需要精确的位置和车距，多数时间是靠下意识完成；第二种是需要集中注意力和实时判断，比如变道时要考虑前后车辆的情况、盲区等，依靠充分的深入判断做出决策。而 End-to-End 系统对应的是第一种潜意识的行为，它更细化的是输入原始的传感器数据。

上图为 Rule-Based 与 End-to-End 优劣对比，通过对比，可以看到 End-to-End 方案虽然解决了 Rule-Based 在应用上的部分缺点，但其在基本功能实现上需要进一步的探索和实践。郁浩认为，这两种方案，均有各自的优劣势，在现阶段，无法完全依靠某一种深度学习方案实现自动驾驶功能，Rule-Based 和 End-to-End 在未来的趋势上必将是吸收对方的优点进行融合而绝非对立。

Apollo 实践：数据与模型

Apollo 1.5 平台的 End-to-End 系统目前已经有很多公开数据集，大概可以分成分两类：一类是真实的采集数据，一类是模拟器的数据。从采集成本来看，真实数据采集成本是适中，可用性高，不过目前百度采集到的数据较少，难以支撑上路实用；另一方面，模拟器的采集成本相较而言极低，当然可用性亦有限，在真实的场景无法完全可用，需要有新的技术突破。

百度在真实的数据采集方面投入甚高，每年都会使用大量数据车实地采集几百万公里的数据进行分析。郁浩表示，Apollo 1.5 开放了大量的 End-to-End 真实驾驶数据数据，包括 Image、RTK-GPS 以及 IMU 等，每一个开源的数据文件对应一次采集任务。感兴趣的读者可以打开 Apollo 首页的“数据开放平台”，点击 RoadHackers 获取最新数据。

拿到 Apollo 的开放数据之后，就是如何使用的问题。百度在去年的时候采用的是简单的横向模型 CNN 以及纵向控制模型 Convolutional-LSTM，今年，百度将这二者融合到一起，采用的横向 + 纵向的模式：LRCN。整个模型架构如下图，包括 Video、Seg Loss、Motion 等，该模型的关注主要集中在视觉特征的提取、时序规律的发现、行为的映射等方面。

在模型的开放内容上，Apollo1.5 现阶段的主要开放了 Vehicle 端，sensors、vehicle、data collection、online-system 等功能目前均已开放，但在云端的一些功能包括云端数据处理、model training 等暂时还未开源。郁浩最后也表示说，Apollo 1.5 阶段虽然没有完全开放出 End-to-End 完整的闭环，但 Apollo 平台最终会把适配好的模型全部部署到在线系统，并将在 Apollo 2.0 的阶段完整开放。

获取更多报告，请加入智享汽车圈知识星球

免责声明：来源Apollo开发者社区，由干货小Q整理，我们的宗旨是将有价值的知识分享给更多有需要的人；文中观点供分享交流，不代表本公众号立场，转载请注明出处；版权归原作者所有，如涉及版权等问题，也请联系我们（文末或后台留言），我们将及时删除内容以保证您的权益。