【深度估计】旷视科技|DeepLiDAR从一张彩色图像和一个稀疏深度图像生成室外场景之下的精确的稠密深度图

论文地址：https://arxiv.org/abs/1812.00488 代码：…… 来源：中国电子科技大学，旷视科技 论文名称：DeepLiDAR Deep Surface Normal Guided Depth Prediction for OutdoorScene from Sparse LiDAR Data and Single Color Image 原文作者：Jiaxiong Qiu

在本文中，提出了一种深度学习架构，它可从一张彩色图像和一个稀疏深度图生成室外场景之下的精确的稠密深度。受室内深度补全的启发，网络把表面法线估计作为中间表示，以产生稠密深度，并可以端到端训练。该架构采用改进的编解码结构，有效地融合了密集的彩色图像和稀疏的激光雷达深度。为了解决室外特定的挑战，该模型还预测一个置信度掩膜，以处理由于遮挡而造成的前景边界附近混合的激光雷达信号，并整合来自彩色图像的估量和带有已学习的注意力图的曲面法线，以提升深度的精度，尤其是远距离区域。

大量的实验表明，我们的模型在 KITTI 深度补全基准上的SOTA。同时，消融实验表明每个模型组件对最终结果的有效作用。综合分析证明该模型可以较好地推广到带有较高稀疏性的输入或者来自室内场景的输入。

下面是论文具体框架结构以及实验结果：