使用 OpenMVG+PMVS实现视觉三维重建

3D视觉工坊

发布于 2020-12-03 11:35:36

6.8K0

发布于 2020-12-03 11:35:36

文章被收录于专栏：3D视觉从入门到精通

一、什么是视觉三维重建？

我们知道，照相机的原理是将一个三维场景投影到二维平面。所谓视觉三维重建，顾名思义就是从已有的二维图像中复原原始三维场景。

三维重建的原理大致如下：

首先，通过多角度拍摄或者从视频中提取得到一组图像序列，将这些图像序列作为三维重建系统的输入；
然后分析多个视角的图像，根据纹理特征提取出稀疏特征点（稀疏点云），通过这些特征点估计相机位置和参数；
在得到相机参数并完成特征点匹配后，就可以获得更稠密的点云（这些点可以附带颜色，从远处看就像还原了物体本身一样，但从近处能明显看出它们只是一些点）；
最后根据这些点重建物体表面，并进行纹理映射，就还原出三维场景和物体了。

基于图像的三维重建基本流程

多张图像的特征点匹配

多视图稠密重建（MVS）

目前，有不少开源的三维重建系统，本文简单介绍使用OpenMVG（有CUDA的可以用colmap）+PMVS（OpenMVS安装的坑比较多），实现三维场景的三维重建。

二、OpenMVG/PMVS概述

openMVG (Open Multiple View Geometry)：开源多视角立体几何库，这是一个 cv 界处理多视角立体几何的著名开源库，信奉“简单，可维护”，提供了一套强大的接口，每个模块都被测试过，尽力提供一致可靠的体验。

openMVG 实现以下典型应用：

解决多视角立体几何的精准匹配问题；
提供一系列 SfM 需要用到的特征提取和匹配方法；
完整的 SfM 工具链（校正，参估，重建，表面处理等）；
openMVG 尽力提供可读性性强的代码，方便开发者二次开发，核心功能是尽量精简的，所以你可能需要其它库来完善你的系统。

CMVS-PMVS（a modified version）：将运动结构（SfM）软件的输出作为输入，然后将输入图像分解成一组可管理大小的图像簇。MVS 软件可以用来独立和并行地处理每个簇，其中来自所有簇的重建不错过任何细节。

常见的多视图三维重建管线：重建稀疏点云-Structure from Motion(Sfm)→重建稠密点云-Multi-View Stereo(MSV)→重建表面-Surface Generation(SG)→纹理映射-Texture Mapping(TM）

在本文中，OpenMVG负责从原始图像到稀疏点云，PMVS负责重建稠密点云、重建表面和纹理映射。我这里还使用了Meshlab查看模型（点云）生成效果。

三、安装OpenMVG+PMVS（Ubuntu16）

OpenMVG安装过程：（参考：openMVG官方BUILD.md）

# 安装依赖
sudo apt-get install libpng-dev libjpeg-dev libtiff-dev libxxf86vm1 libxxf86vm-dev libxi-dev libxrandr-dev graphviz

# 克隆代码
git clone --recursive https://github.com/openMVG/openMVG.git

# configure && build
mkdir openMVG_Build && cd openMVG_Build
cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/   -DOpenMVG_BUILD_TESTS=ON
sudo cmake --build . --target install

# test
make test
ctest --output-on-failure -j

# .bashrc
export PATH=$PATH:/home/work/tools/openMVG_Build/Linux-x86_64-RELEASE/

CMVS-PMVS安装过程：

git clone https://github.com/pmoulon/CMVS-PMVS.git
cd CMVS-PMVS
mkdir build && cd build
cmake ../program/
make
sudo cp main/pmvs2 main/genOption main/cmvs /usr/local/bin/

四、三维重建实例（城堡）

1. OpenMVG提取稀疏点云（参考：openMVG使用示例）

原始数据：11张从不同角度拍摄的城堡照片

openMVG提取稀疏点云过程：（参考openMVG_Build/software/SfM/tutorial_demo.py，测试图片和脚本：openmvg_test.tar）

cd openMVG
vim 3dr_test.py

#!/usr/bin/python
#! -*- encoding: utf-8 -*-
# openmvg使用示例
# usage : python tutorial_demo.py

import os
import subprocess
import sys

# openmvg编译bin目录(可cp -p到/usr/local/bin/)
OPENMVG_SFM_BIN = "/home/work/tools/openMVG_Build/Linux-x86_64-RELEASE"
# pmvs编译bin目录(可cp -p到/usr/local/bin/)
PMVS_BIN = "/home/work/tools/CMVS-PMVS/build/main"
# openmvg相机参数目录
CAMERA_SENSOR_WIDTH_DIRECTORY = "/home/work/tools/openMVG/src/openMVG/exif/sensor_width_database"


# 0. 下载测试照片
os.chdir(os.path.dirname(os.path.abspath(__file__)))
data_dir = os.path.abspath("./book")
#data_dir = os.path.abspath("./ImageDataset_SceauxCastle")
'''if not os.path.exists(data_dir):
  pImageDataCheckout = subprocess.Popen([ "git", "clone", "https://github.com/openMVG/ImageDataset_SceauxCastle.git" ])
  pImageDataCheckout.wait()'''
input_dir = os.path.join(data_dir, "images")
output_dir = data_dir
print ("Using input dir  : ", input_dir)
print ("      output_dir : ", output_dir)
matches_dir = os.path.join(output_dir, "matches")
camera_file_params = os.path.join(CAMERA_SENSOR_WIDTH_DIRECTORY, "sensor_width_camera_database.txt")    #相机参数
if not os.path.exists(matches_dir):
  os.mkdir(matches_dir)

# 1. 从图片数据集中生成场景描述文件sfm_data.json
print ("----------1. Intrinsics analysis----------")
pIntrisics = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_SfMInit_ImageListing"),  "-i", input_dir, "-o", matches_dir, "-d", camera_file_params, "-c", "3"] )
#*注：如果产出的sfm_data.json里intrinsics内容为空，通常是在图片没有exif信息导致获取不到相机焦距、ccd尺寸等参数，用带exif的原图即可。
pIntrisics.wait()

# 2. 计算图像特征
print ("----------2. Compute features----------")
pFeatures = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeFeatures"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-m", "SIFT", "-f" , "1"] )
pFeatures.wait()

# 3. 计算几何匹配
print ("----------3. Compute matches----------")
pMatches = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeMatches"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-f", "1", "-n", "ANNL2"] )
pMatches.wait()

# 4. 执行增量三维重建
reconstruction_dir = os.path.join(output_dir,"reconstruction_sequential")
print ("----------4. Do Incremental/Sequential reconstruction----------") #set manually the initial pair to avoid the prompt question
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_IncrementalSfM"),  "-i", matches_dir+"/sfm_data.json", "-m", matches_dir, "-o", reconstruction_dir] )
pRecons.wait()

# 5. 计算场景结构颜色
print ("----------5. Colorize Structure----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeSfM_DataColor"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", os.path.join(reconstruction_dir,"colorized.ply")] )
pRecons.wait()

# 6. 测量稳健三角
print ("----------6. Structure from Known Poses (robust triangulation)----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeStructureFromKnownPoses"),  "-i", reconstruction_dir+"/sfm_data.bin", "-m", matches_dir, "-o", os.path.join(reconstruction_dir,"robust.ply")] )
pRecons.wait()

'''
# 使用全局SfM管道重建Reconstruction for the global SfM pipeline
# 3.1 全局sfm管道几何匹配
print ("----------3.1. Compute matches (for the global SfM Pipeline)----------")
pMatches = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeMatches"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-r", "0.8", "-g", "e"] )
pMatches.wait()

# 4.1 执行全局三维重建
reconstruction_dir = os.path.join(output_dir,"reconstruction_global")
print ("----------4.1. Do Global reconstruction----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_GlobalSfM"),  "-i", matches_dir+"/sfm_data.json", "-m", matches_dir, "-o", reconstruction_dir] )
pRecons.wait()

# 5.1 计算场景结构颜色
print ("----------5.1. Colorize Structure----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeSfM_DataColor"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", os.path.join(reconstruction_dir,"colorized.ply")] )
pRecons.wait()

# 6.1 测量稳健三角
print ("----------6.1. Structure from Known Poses (robust triangulation)----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeStructureFromKnownPoses"),  "-i", reconstruction_dir+"/sfm_data.bin", "-m", matches_dir, "-o", os.path.join(reconstruction_dir,"robust.ply")] )
pRecons.wait()
'''

# 7. 把openMVG生成的SfM_Data转为适用于PMVS输入格式的文件
print ("----------7. Export to PMVS/CMVS----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_openMVG2PMVS"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", reconstruction_dir] )
pRecons.wait()
#*注：执行后会在-o路径下生成一个PMVS目录，包含 models, txt, visualize 三个子目录：models为空；txt包含对应图像的txt文档，每个里面都是一个3x4的矩阵，大概是相机位姿；visualize包含11张图像，不确定是原图像还是校正过的图像

# 8. 使用PMVS重建稠密点云、表面、纹理
print ("----------8. pmvs2----------")
pRecons = subprocess.Popen( [os.path.join(PMVS_BIN, "pmvs2"),  reconstruction_dir+"/PMVS/", "pmvs_options.txt"] )  # 注：不要修改pmvs_options.txt文件名
pRecons.wait()
#*注：执行后会在./PMVS/models文件夹中生成一个pmvs_options.txt.ply点云文件，用meshlab打开即可看到重建出来的彩色稠密点云。


#执行三维重建测试
python 3dr_test.py

2.安装MeshLab，查看生成的稀疏点云文件：

下载安装：http://www.meshlab.net/#download

右上方俯视城堡稀疏点云：（打开reconstruction_xxx下的colorized.ply或robust.ply）

3.PMVS重建稠密点云、重建表面和纹理映射过程：（测试生成的PMVS目录：pmvs_test.tar）

# 1.  把openMVG生成的SfM_Data转为适用于PMVS输入格式的文件
cd openMVG/ImageDataset_SceauxCastle/reconstruction_global/
openMVG_main_openMVG2PMVS -i sfm_data.bin -o ./
*注：执行后会在-o路径下生成一各PMVS目录，包含 models, txt, visualize 三个子目录：models为空；txt包含对应图像的txt文档，每个里面都是一个3x4的矩阵，大概是相机位姿；visualize包含11张图像，不确定是原图像还是校正过的图像

# 2. 使用PMVS重建稠密点云、表面、纹理
pmvs2 ./PMVS/ pmvs_options.txt    # 注：不要修改pmvs_options.txt文件名
*注：执行后会在./PMVS/models文件夹中生成一个pmvs_options.txt.ply点云文件，用meshlab打开即可看到重建出来的彩色稠密点云。

生成的三维稠密点云俯视角：

五、三维重建实例（书）

1.准备照片

注意事项：

自己拍的照片必须确保照片里有exif信息！（光圈、焦距、品牌、ccd尺寸等），定位拍摄姿态和角度等用，没有会很麻烦；不要用微信/Hi等工具传，exif信息会丢失（选原图也会丢），亲测AirDrop(隔空投送)是不会丢的；
照片最少准备3张以上，否则大概率重建失败；

拿手边的书随便拍了几张：book.zip

2.三维重建

python 3dr_test.py

六、常见问题

1.openMVG_main_IncrementalSfM: error while loading shared libraries: liblapack.so: cannot open shared object file: No such file or directory

解决方法：

$ which openMVG_main_IncrementalSfM
/usr/local/bin/openMVG_main_IncrementalSfM
$ ll openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM
openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM
#经过对比测试发现/usr里确实是最新build的文件，但链接关系貌似有问题；直接使用openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM就能正常
$ sudo cp ../openMVG_Build/Linux-x86_64-RELEASE/*  /usr/local/bin/   #整体cp覆盖后恢复正常

2.type INITIAL pair ids: X enter Y enter

----------------------------------------------------
SequentialSfMReconstructionEngine::ChooseInitialPair
----------------------------------------------------
 Pairs that have valid intrinsic and high support of points are displayed:
 Choose one pair manually by typing the two integer indexes
----------------------------------------------------

(1,5)		77 matches
(2,4)		39 matches
(0,2)		39 matches
(3,7)		31 matches
(2,5)		29 matches
(2,3)		19 matches
(0,1)		18 matches

 type INITIAL pair ids: X enter Y enter
2
4

Putative starting pair is: (2,4)
A-Contrario initial pair residual: 7.61613

SfM过程中遇到这个提示，可以按以上方式输入跳过，不过通常这时照片的质量堪忧，不要指望建出来预期的效果了，不如老老实实多重拍些，用视频切桢也行。

七、其他

生成的三维点云数据如果要用于自动驾驶避障，最好增加超声波、毫米波雷达，并把各传感器生成的点云与视觉重建点云进行融合。对融合后的点云数据进行噪点清理、三维目标检测，生成三维障碍物的类型/大小/位置信息，再根据三维空间的行进方向进行避障路径规划。

本文仅做学术分享，如有侵权，请联系删文。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-11-27，如有侵权请联系 cloudcommunity@tencent.com 删除

编程算法

开源

本文分享自 3D视觉工坊微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

编程算法

开源

登录后参与评论

0 条评论

热度