一种基于极线几何的全卷积神经网络图像深度测量方法

泡泡图灵智库，带你精读机器人顶级会议文章

标题：EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images

作者：Changha Shin，Hae-Gon Jeon，Youngjin Yoon，In So Kweon，Seon Joo Kim

来源：CVPR 2018

编译：张博

审核：彭锐

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——一种基于极线几何的全卷积神经网络图像深度测量方法，该文章发表于CVPR 2018。

光场相机能够采集空间中光线的空间和角度特性。因此可以在照明变化的环境中计算深度，在灵敏的传感器中具有很大优势。光场中深度计算可以应用在3D建模等许多应用。然而手持相机的图像基线较短存在误差使得深度估计困难。如今已经提出了许多克服光场相机深度估计限制的方法，但都存在速度或精准度上欠缺。本文提出了一种基于全卷积神经网络的快速准确的光场深度估计方法。网络设计结合了光场几何并提出显著光场特定数据增强的方法克服训练数据缺乏。方法在HCI 4D光场基准取得最高排名，并且证明了方法在实际光场图像的有效性。

主要贡献

1. 提出了一种基于深度学习的深度预测方法，实验结果精确并且快速。

2.网络结合光场极线几何，通过多种网络结合学习角度和空间信息。提出光场图像特定数据增强，例如视角转移与旋转，解决了数据不足问题。

算法流程

图1

光场深度估计结构

第一步：利用光场几何特性设计一种端到端的神经网络结构。由于光场垂直与水平方向具有多角度分辨率，导致数据量大计算速度慢，利用视点的角度方向之间的光场特性减少计算图像。

第二步：构建水平、垂直以及左右对角线多流网络。为了显示多流结构有效性，定量与单流网络进行对比。定义全卷积层基本块，测量局部像素视差。

第三步：使用16个光场合成图像，为了防止过拟合，对光场特定数据进行增强。

第四步：16个合成光场图像中随机抽取23*23的灰度图像块进行训练，为了加快训练速度，剔除了如玻璃金属等反射区域和无纹理区域。

主要结果

文章结果：

1. 定性分析结果：

参照图2，本文算法在不同度量方法中占前四中的三个。

图2

算法排名，方法不同版本由黄色区域显示。

可以看出本文算法多流策略解决模糊，可以捕捉机翼或者玩具头部尖锐的物体边界。见图3。

图3 本文方法与Heber[12]、[13]对比

图4 7x7角分辨率和9x9角分辨率的光场图像处理结果。

本文比较了使用输入视点7×7和9×9的EPINET的视差预测。尽管合成数据相似但实际效果却存在明显差异。光场深度估计的精度随着视点个数的提高而提高，因此采用9×9输入视点进行实验。通过加权中值滤波器消除稀疏视差误差。

图5 定性分析结果 （a）参考视图(中心视图)

2. 定量分析结果：

运算时间仅次于MVCMv0，但其精度却排在最后。结果如图6所示。

图6 算法运行时间表

Abstract

Light field cameras capture both the spatial and the angular properties of light rays in space. Due to its property, one can compute the depth from light fields in uncontrolled lighting environments, which is a big advantage over

active sensing devices. Depth computed from light fields can be used for many applications including 3D modelling and refocusing. However, light field images from hand-held

cameras have very narrow baselines with noise, making the depth estimation difficult. Many approaches have been proposed to overcome these limitations for the light field depth estimation, but there is a clear trade-off between the accuracy and the speed in these methods. In this paper, we introduce a fast and accurate light field depth estimation method based on a fully-convolutional neural network. Our network is designed by considering the light field geometry and we also overcome the lack of training data by proposing light field specific data augmentation methods. We achieved the top rank in the HCI 4D Light Field Benchmark on most metrics, and we also demonstrate the effectiveness of the proposed method on real-world light-field images.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。