震撼：AI虚拟现实技术靓丽登场

---搜维尔整理

全仿真的VR虚拟现实技术诞生了第一个以假乱真的数字角色，第一个超炫的数字”实景”!日前在北京CBD的英皇国际中心向媒体开放了超仿真的VR、AR交互体验。

超仿真VR虚拟现实技术由计算机图形学技术极客邓释天发明，定位为从根本上解决VR、AR、MR的落地。不再让三大理念只停留在理论层面，新数字技术包含了其研发的VR实时光影联动、VR次表面散射与环境变量联动、构筑多重VR矢量纹理、构筑动态VR纹理、VR真实表情实时输出、VR超仿真输出的全新Avatar API理念。

全新数字图形学技术制作的这款虚拟人，就是基于后次世代虚拟现实技术打造。笔者参与VR体验，这一切并不是呈现360度图片，而是真实感十足，交互感十足的实时VR虚拟人!同时呈现的还有基于手机平台的全新3DVR!全新的VR成像技术，可以与观众任意角度互动，并实现真实的毛发及基于人眼视角的菲涅尔反射。

技术发明人Pantheon tech创始人邓释天表示： “我不只是为了重新定义VR，更是为了通过三维数字图形学技术的革命，为用户创造愉悦的未来时空，希望把VR真正带入人们生活的空间，是充实而美好的。”

由于高度仿真，笔者的现场VR体验完全分不清虚拟和现实的距离。现在新技术已经可以应用在虚拟现实交互体验上，未来将很快拓展到AR与MR的应用上，这将彻底解决行业应用的有市场、有理论，无核心技术的无奈。

区别于传统的VR制作理念，超仿真的VR虚拟现实技术通过技术分解、数字的环境分析、人工智能交互做支点，实现了真正的Magic Leap “大白鲨”式的效果，唯一的不同——这是VR!不是宣传视频。不仅如此，该技术的发明人邓释天还详细介绍了众多科研技术环节上的创新：

实时光影联动图形学算法

真实世界的物体与光存在着复杂的交互关系。通常光是从一种媒介进入另一种媒介，经过多次散射后，在近似射入点的位置返回原来的介质中。除了光线的离散，还会被吸收转化为热能。光线进入介质点不深，进入点和离开点的差别就可以忽略。光线离散性高、吸收性弱的材质通常指参与介质或透明介质，如：牛奶、翡翠、大理石、皮肤等。而在更细微的层面———微表面拥有粗糙度、光滑度、光泽度，由于光的离散和吸收过程是发生在材质内部而非表面，所以微表面理论没有引起足够多的重视，而微表面是建立在不规则性的基础上，光线对于这些面的入射角都是不一样的，反射的角度也不同。同时部分光线被遮挡住，部分由于形体结构的原因产生阴影，视觉上会产生反射Shading ，计算中需要引入各种函数理论来模拟自然界的物理现象。通过对双向反射分布函数模拟场景中光照射到材质表面，反射到视点光亮度计算方法函数来定义材质属性。通过这一函数可以在引擎中区分、模拟不同材质特性，即材质与灯光变化的实时联动。

次表面散射与环境透射算法

次表面需要解决半透明阴影纹理、UV变形矫正纹理、辐照度纹理、透射光、混合Diffuse Color与BRDF其他部分合并等诸多问题，生成最终结果的技术环节庞杂。新的技术模型仅运行在一般分辨率是，花费更少的GPU内存。散射本身与分辨率无关，在物体边缘不再有色彩偏移。通过颜色、高光独立的存放在一个棋盘格模式改进了表面散射的质量和性能。并通过全新的算法解决三维物体的环境透射。

简单的说，即使国外的即时演算光照算法中环境所起的作用被过分简化。新技术不止采用间接光照方式在次表面光照计算中获得环境信息。而是通过概率函数增加更多的颜色和色调相关影响，这些技术把真实的环境对物体透光性产生的效果整合到次表面散射光照技术中。

纤维微结构矢量纹理技术

如果想要得到一个任何距离都能清晰表现的表面，贴图尺寸要相当大，占用资源也就非常大，不要说手机，即使电脑也无法运行。邓释天创造性提出了构筑多重微结构纹理概念，分辨率可以达到32k以下(超过肉眼识别的极限)。不是将其用作颜色、贴图、法线、高光、反射、置换，而是在原贴图材质的基础上将其程序化处理并作为材质的mask，这样就能最大限度地提高材质贴图的清晰度。同时，置换贴图加入矢量材质后，减少了一定的细节制作环节，由于矢量材质的微表面纤维结构特质，更能真实地呈现在物理世界物体的不完美特性，即反射的变化。新算法的结果可以轻松的实现毛孔、皱纹结构的建模，皮革、纤维结构的建模，并用高斯卷积过滤获得网格模型在运动中挤压、拉伸信息，以形成运动中的超写实现象。

发明动态纹理

物体微表面会随动态形成拉伸变形，如毛孔和皱纹结构的分辨率较高，网格顶点方式无法动态建模，这里采用纤维微结构矢量纹理技术的函数驱动特性提供模型信息。以此建立基于矢量置换技术的建模方法。

面部纤维结构是面部微尺寸的结构，分辨率甚至达到0.01毫米, 观察虚拟人面部局部时，会起到非常重要的作用。基于线性高斯卷积和置换贴图的解决会消耗大量显存，显示精度也会受到纹理尺寸的限制，基于矢量纹理技术的纤维微结构纹理建模技术，从根本上解决了这一问题。

同时，当皮肤组织被拽拉时，由于被拽拉的组织区域厚度变薄，血液含量下降等原因，导致表面会呈现冷色调;当皮肤组织被推挤时，由于被推挤的组织区域厚度增加，血液含量上升等原因，导致表面呈现暖色调。

基于动画中模型法线的变化信息获得皮肤被拽拉和被推挤的强度并演算出校对函数，来对材质、颜色加以高仿真动态模拟。

打造真实表情的实时输出

一种新的思路来实现超写实、真实可信的虚拟人面部表情模型构建和动画驱动:首先基于对人体面部解剖结构及运动机理的深入分析,优化的数字网格模型并通过对面部肌肉结构分区，建立分区骨骼组来控制肌肉结构动画,提供低分辨率的基础几何模型动画。然后建立毛孔皱纹和肌肉运动的关系算法，通过矢量技术直接用肌肉动画来驱动毛孔皱纹建模和动画。

思路的核心是：在低分辨率层级主要采用主观和专家参数控制，而在高分辨率层级主要基于相关规律来实现矢量化和自动控制。至少有以下优点：

基于面部表情肌肉骨骼系统来建立丰富的、低分辨率且高品质的标准表情动画库，这样可以快速适配丰富的角色，大幅减少VR虚拟人表情动画几何模型和动画的制作时间，进而大幅降低成本。大幅增加虚拟人面部表情的细节，而且细节的真实感非常强。面部毛孔皱纹中结构和纤维微结构都可以通过矢量纹理技术来大幅提高制作效率。不依赖传统技术来获得高分辨率的表情动画模型。

肌肉上层脂肪层、表皮毛孔皱纹结构和肌肉结构的运动关系，用肌肉大结构动画来驱动毛孔皱纹中结构的动画，革命性的真实还原人物的表情变化并能实时输出。

多环节下的超仿真输出

整个技术课题的研究过程是建立一个综合性的框架，并由此而深入实现VR世界的超写实、真实、可信，并让数字角色传达真实的情感。这里相应涉及的技术环节十分庞杂。通过二十多年专注数字图形学方向的研究，对每一个难点逐个深入才能实现今天的超仿真数字VR。下面还完成了能实时演算的人脸识别技术、柔体布料技术、数字毛发技术等。更进一步改变了3D渲染引擎的实时渲染、实时输出......以此实现VR技术的落地!其研究领域涉及VR图形学新技术的多平台跨客户端，人脸识别的3D成像，VR引擎的性能优化及动力学，VR数字医学的应用，甚至3D电影的数字高仿真，这里就不再一一列举了。

最终，基于数字云平台的3D面部识别成像技术已经形成，大大提升了产品的应用空间，这一些技术功能，未来将已应用在数字电商、在线购物为重点。如技术发明人邓释天所说：“全新技术根植于产业创新，布局全球VR产业合作，将为数字VR产业的落地提供全方位的技术支持。”

产品的生命全部来自于背后的技术。

来源：网络

责编：Frank

整理：Davy