从二维到三维：计算机视觉技术最新学术进展及突破

编者按：在“AI之眼 智见未来——3D传感&人工智能前沿科技论坛”上，来自清华大学、浙江大学、国防科技大学、上海交通大学、厦门大学、四川大学、北京航空航天大学等知名学府的7位顶尖专家学者，以主题演讲的形式分享三维计算机视觉领域的最新科研成果。多位专家均表示，包括奥比中光在内的三维数据采集设备制造商，一定程度推进了三维人脸分析技术的进一步发展和应用，这令以低成本、快速便捷获取高精度的三维数据成为现实。

以下内容为演讲摘要。

纪荣嵘：《基于深度学习的场景信息重构》

厦门大学“闽江学者”特聘教授，博士生导师纪荣嵘在演讲中表示，虽然深度学习已在目标检测、视频跟踪和图像分割等诸多领域上都取得了极大的成果，但要将这些高性能模型在实际场景中部署，仍存在如图像遮挡、部署设备资源受限等许多挑战，因此如何高效、准确地重构场景语义信息和几何信息仍是计算机视觉领域的重要研究课题。就此，纪荣嵘教授介绍了其课题组在视觉里程计、图像语义分割和图像深度估计等方面的研究工作，并举例阐述了这些技术在移动端的应用和对未来研究方向的展望。

刘烨斌：《实时便携动态场景三维重建》

清华大学自动化系副教授、博士生导师刘烨斌认为，真实世界视觉信息的采集、数字化记录与重建是当前视觉媒体技术发展的核心关键。目前而言，动态场景三维重建主要面临精准性、便捷性和实时性三方面的挑战，而随着IPhone X等智能手机新增加实时深度探测模块，动态场景三维重建的便捷性得到了极大地提高。基于此，刘烨斌副教授围绕便捷性和实时性，回顾了动态场景三维重建的发展历程，介绍了其“基于深度相机实时动态人体三维重建”等最新成果。此外，刘烨斌教授还围绕视觉信息采集的计算摄像技术，简要介绍了其在视角维度的光场摄像、光谱维度的高光谱视频成像、空间维度的十亿像素视频生成、时间维度的TOF瞬态成像方面的研究工作。

卢策吾：《Behavior Understanding meets 3D Representation》

上海交通大学研究员，博士生导师卢策吾的演讲介绍了其团队在行为理解与三维视觉方面的研究进展。行为理解研究主要涵盖Deep RNN、Alphapose and beyond COCO、Interactiveness，三维视觉则包括PointSIFT、Pointwise Rotation-Invariant Network、DBNet。其中，在Deep RNN上，他提出一套面向高维输入（比如视频）的 Deep RNN 方案，该方案可以做到15层甚至更深的RNN叠加，比起传统LSTM/RNN在四个视觉代表任务上平均相对提高25%。

章国锋：《视觉SLAM技术及应用》

浙江大学CAD&CG国家重点实验室教授，博士生导师章国锋在演讲中表示，虽然基于视觉的同时定位与地图构建（Visual SLAM）在过去十多年里取得了很大的进展，但要满足实际的应用需求仍需要解决一些关键性难题。例如，如何在移动设备上做到实时稳定的跟踪、如何处理快速运动和强旋转、如何对重建的三维几何表面进行在线调整和误差累积消除等。围绕这些关键难题，章教授介绍了其团队研究成果及在AR上的应用。

黄迪：《基于三维人脸数据的身份识别与表情分类》

北京航空航天大学计算机学院长聘副教授，博士生导师黄迪表示，得益于奥比中光为代表的三维数据采集设备制造商的发展，相比过去，以较低成本快速编辑获取高精度的三维数据成为现实，这促进了三维人脸分析技术的进一步发展和应用。由于三维人脸能够直接反映人脸形状信息且能与纹理信息良好互补，目前已成为各机构研究热点。紧接着，他着重介绍了三维人脸分析在数据库构建、处理方法、实验评价等主要方面的最新研究进展，涉及人脸标志点定位，人脸曲面配准、曲面几何表示、和二维三维信息融合等多个研究内容。此外，黄教授还对三维人脸分析技术实用化道路上将要面对的困难与挑战进行了展望。

赵启军：《三维人脸建模：由图到形的人脸识别》

四川大学计算机学院副教授、博士赵启军在演讲中表示，虽然三维人脸应用前景很广泛，但目前相比于拍摄二维人脸图像，获取三维人脸数据要更加昂贵和不便，这也导致三维人脸技术在实际应用中受到诸多限制。随后，赵启军副教授介绍了其基于二维人脸图像重建三维人脸形状方面的工作，他认为这种方法能够充分利用现有的大量二维图像资源生成三维人脸模型，且能够大幅提升三维人脸识别准确率。

郭裕兰：《三维场景智能感知与理解》

国防科技大学电子科学学院讲师郭裕兰表示，相比于二维图像，三维点云包含了更加丰富的几何、形状和结构信息，从而为场景理解提供了更多可能，将在自动驾驶、机器人、VR/AR等领域大量应用。对此，郭裕兰讲师详细介绍了其团队在双目深度估计、三维目标识别以及三维场景标注等方向的研究进展。