3D-GPT：使用AI大模型，就可以实现输入文本就可创建3D场景！（开源）

游戏、电影、元宇宙等领域进行3D建模时，会花费大量时间和精力，如今AI大模型如此强大，能否让AI来帮助我们快速建模？

答案是可以的，很多团队和公司都在做这方面的探索，今天我要介绍的是3D-GPT（开源地址见文末）

3D-GPT是什么？

3D-GPT是来自澳大利亚国立大学、牛津大学和北京人工智能研究院的研究人员开发新型AI框架，该系统可以简单地根据用户提供的基于文本的描述生成3D模型。

与传统的 3D 建模工作流程相比，该系统提供了一种更高效、更直观的方式来创建 3D 场景。

以下是官方给出的示例效果

3D-GPT的工作原理

3D-GPT的工作原理是这样的：它将指令驱动的3D建模任务分解为三个子任务，分别由三个核心代理来完成。这三个核心代理分别是：

任务分派代理（Task Dispatch Agent）：它负责接收用户的输入，并判断是要创建新的场景，还是修改已有的场景，或者是结束对话。它还负责将用户的输入转换为适合其他代理处理的格式。

概念化代理（Conceptualization Agent）：它负责根据用户的输入来生成或更新场景描述文本。场景描述文本是一种用自然语言来描述场景中各个对象及其属性和关系的文本。概念化代理会根据用户的指令来添加、删除或修改场景描述文本中的内容，并保持文本的一致性和完整性。

建模代理（Modeling Agent）：它负责根据场景描述文本来生成或更新3D场景。建模代理会从文本中提取出对象的名称、形状、颜色、位置、大小等参数，并将这些参数传递给一个基于程序化生成（Procedural Generation）的3D软件，比如Blender。程序化生成是一种利用可修改的参数和规则系统来自动创建内容的方法，比如在游戏中生成地形、建筑等。

通过这三个核心代理的协作，3D-GPT可以实现以下两个目标：

它可以增强简洁的初始场景描述，将其发展为详细的形式，同时根据后续指令动态地调整文本。

它可以集成程序化生成，从丰富的文本中提取参数值，轻松地与3D软件进行交互，进行资产创建。

3D-GPT的优势！

3D-GPT的优势在于，它可以让用户用自然语言来指导和控制3D建模过程，而不需要了解复杂的规则、算法和参数。它还可以让用户与人工智能进行有效地协作，利用人工智能提供的建议和反馈来改进设计。此外，它还可以无缝地与Blender集成，打开更多的操作可能性。

3D-GPT的研究团队已经在arXiv上发布了他们的论文，并在GitHub上开源了他们的代码和数据。他们还提供了一个在线演示，让用户可以亲自体验3D-GPT的功能。如果你对3D-GPT感兴趣，欢迎你去试试看。

项目介绍：

https://chuny1.github.io/3DGPT/3dgpt.html

源码地址：

https://github.com/Chuny1/3DGPT

论文地址：

https://arxiv.org/abs/2310.12945