快速生成各种高质量虚拟人并完全控制其位置的能力在电影制作、游戏、虚拟现实/增强现实、建筑和计算机视觉中有许多应用。现代计算机图形技术实现了逼真的效果,但它们通常需要大量的专业知识。
连续且与分辨率无关的神经 3D 表示推动了 3D 刚体生成建模的最新进展。由于衣服的复杂相互作用、它们的拓扑结构和姿势驱动的变形,为穿着衣服的人建模是一项具有挑战性的任务。
最近的研究使用隐式神经表面来学习单个主题的高质量关节化身,但这些方法不是生成的,这意味着它们无法创建新的人类身份或形状。
通过学习个人的生成模型,马克斯普朗克智能系统研究所的研究人员希望使 3D 人类化身广泛可用。它们提供了第一种方法来生成具有独特身份和形状的多样化 3D 虚拟个体,这些个体出现在各种服装风格和位置,具有逼真的细节,例如服装上的褶皱。
该团队提出了gDNA,这是一种合成新颖人体形状的 3D 表面的方法,可以控制服装设计和姿势,产生逼真的服装细节,作为详细神经化身完全生成建模的第一步。
该团队创建了一个多主体隐式生成表示,以利用原始 3D 扫描。SNARF 是一种最新的学习单主题关节依赖效应的方法,已被证明可以有效地推广到未知姿势,是这项工作的基础。该团队采用了一种多学科技术,该技术通过对许多不同学科的少量姿势扫描进行教学。这是通过包含一个潜在空间来实现的,用于有条件地生成穿着衣服的人体形状和蒙皮重量。
该团队演示了第一种方法,该方法可以在姿势控制下生成各种 3D 衣服人体形状,并在姿势控制下仅使用姿势扫描。学习到的蒙皮权重可用于重新定位生成的样本。研究人员对 gDNA 进行了广泛测试,发现它的性能明显优于基线。gDNA 可用于拟合和重新激活 3D 图像,优于当前最先进的 (SOTA) 模型。
结论
马克斯普朗克智能系统研究所的研究人员开发了 gDNA,这是一种 3D 穿衣人体生成模型,可以生成具有精确皱纹和明确姿势控制的各种穿衣人。使用隐式多主体前向蒙皮可以从每个参与者仅几个姿势扫描中学习。该团队表明,gDNA 在包括动画和 3D 拟合在内的各种应用中都优于最先进的方法。
论文:
https://ait.ethz.ch/projects/2022/gdna/downloads/main.pdf
项目:
https://xuchen-ethz.github.io/gdna/
Github:
https://github.com/xuchen-ethz/gdna