论文链接:https://arxiv.org/pdf/1810.09658.pdf
TL;DR
通过多个稀疏点云pair的配准,将稀疏的人脸点云转换成一个稠密的人脸点云,然后投影生一个2D的深度图,对人脸深度图做识别,识别部分的PipeLine和目前的2D人脸识别一致。
Details
PipeLine:
image.png
887x319 117 KB
网络分成两部分:DRNet和FRNet,其中DRNet部分做点云配准。对于多个连续的稀疏的人脸点云,存在一个变换使得任意pair之间可以相互变换,DRNet部分主要用于回归出变换矩阵的参数,为了用conv2d做回归,DRNet的输入将点云做了2D的投影。回归的目标如下:
变换的细节如下:
其中P1是source如上图的Frame5,P1’是通过回归的参数变换得到的预测结果,P2是target如上图的frame6,其中q是变换参数,回归的目标使得参数和groundtruth的参数loss最小(qg可以通过计算生成)。DRNet的输出做插值,得到一个dense的点云,投影得到depth-map,对2D的depth-map做识别,最后用embedding去做K-means聚类,检验embedding的效果是否好。
Experiments
Thoughts
给深度图的人脸识别任务提供了一种pipeline,不过从depth map到point cloud再到depth map流程有点复杂。
领取专属 10元无门槛券
私享最新 技术干货