论文地址: https://arxiv.org/pdf/2007.08854.pdf
代码:
来源: 百度
论文名称:DVI : Depth Guided Video Inpainting for Autonomous Driving
原文作者:Miao Liao
内容提要
为了在自动驾驶过程中获得清晰的街景和逼真的仿真效果,本文提出了一种基于深度/点云引导的自动视频修复算法,该算法可以去除视频中删除移动的物体,合成缺失区域。通过拼接点云构建密集的3D地图,视频内的帧通过这个3D地图进行几何关联。通过将像素从其他帧转换到当前帧被遮挡的位置,从而填充帧中的目标修补区域。此外,我们通过3D点云配准来融合多个视频,使用多个源视频修复目标视频,从而解决长时间遮挡的问题,也就是遮挡区域在整个视频中都不可见。据我们所知,百度是最早将多个视频融合在一起进行视频修复工作的。为了验证我们的方法的有效性,我们在真实的城市道路环境中建立了一个大的视频修复数据集,其中包括同步图像和激光雷达数据,包括许多具有挑战性的场景,如长时间遮挡。实验结果表明,该方法在所有条件下的性能SOTA,特别是均方根误差降低了约13%!
主要框架及实验结果
声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。