从文本生成3D图像，英伟达提出比谷歌更优解决方案Magic3D

查看引用/信息源请点击：映维网

利用两阶段优化框架来解决相关限制

（映维网Nweon 2022年11月22日）谷歌早前曾介绍了一个可以通过文本生成3D图像的AI模型Dreamfusion。其中，只需输入简单的文本提示，这个利用2D数据训练出来的模型可以为你生成相应的3D图像。

延伸阅读：利用NeRF，谷歌研究通过简单文本生成3D图像

但英伟达的研究人员认为，尽管谷歌DreamFusion展示了预训练的文本到图像扩散模型在优化神经辐射场（NeRF）方面的实用性，并取得了显著的文本到3D合成结果，但所述方法存在两个固有的局限性：

NeRF的优化极其缓慢；

NeRF的低分辨率图像空间监控导致处理时间长，并且只能生成低质量的3D模型。

所以，英伟达提出了一个全新的解决方案Magic3D，利用两阶段优化框架来解决相关限制。最终，团队希望这可以帮助实现3D合成的普及。

与Dreamfusion一样，Magic3D的核心依赖于一种根据文本从不同角度创建图像的图像生成模型。英伟达的研究团队使用的是图像模型eDiffi，而谷歌则依赖Imagen。

对于团队提出的两阶段优化框架，他们首先使用低分辨率扩散先验获得粗略模型，并使用稀疏的3D hash grid structure进行加速。使用粗糙表示作为初始化，研究人员进一步通过与高分辨率latent扩散模型交互的高效可微渲染器来优化纹理化的3D网格模型。

这种方法的优势在于，生成型AI模型不必使用稀缺的3D模型进行训练。与Nvidia免费提供的文本到3D模型Get3D不同，Magic3D同时可以从不同类别生成众多3D模型，无需额外训练。

相关论文：

Magic3D: High-Resolution Text-to-3D Content Creation

https://paper.nweon.com/13519

英伟达表示，实验结果表明，Magic3D可以在40分钟内创建高质量的3D网格模型，这比DreamFusion快2倍，同时分辨率更高。这家公司进一步指出：“用户研究则显示，61.7%的评分者更喜欢我们的方法而不是DreamFusion。”

另外，Magic3D可以执行基于提示的3D网格编辑。给定低分辨率3D模型和基本提示，研究人员可以更改文本以更改生成的模型。同时，团队演示了在数个迭代中保持相同的主题（通常称为连贯性），并将2D图像的风格（如立体派绘画）应用于3D模型。

英伟达的研究人员评价道：“结合图像条件生成功能，我们为用户提供了控制3D合成的新方法，并为各种创意应用开辟了新途径。”

从文本生成3D的能力感觉像是当今扩散模型的一种自然进化。在对大量数据进行密集训练后，相关模型可以使用神经网络合成新内容。仅在2022年，我们就已经看到了DALL-E和Stable Diffusion等功能强大的文本到图像模型，以及谷歌的文本到3D模型DreamFusion等等。

对于Magic3D，它将允许任何人在不需要特殊训练的情况下创建3D模型。尽管团队目前依然在优化改善模型，但随着技术的发展和成熟，相信这将能加快普及3D合成，并促进游戏和VR行业的发展。