AI学会操作CAD：从草图到3D模型的自动构建

AI学会操作CAD：从草图到3D模型的自动构建

计算机辅助设计（CAD）是当今大多数实体产品设计的首选方法。工程师使用CAD将2D草图转化为3D模型，以便在将最终版本发送到生产线之前进行测试和优化。然而，该软件以其学习难度大而闻名，有数千条命令可供选择。要真正熟练使用该软件，需要投入大量的时间和练习。

麻省理工学院（MIT）的工程师们希望通过一种人工智能模型来降低CAD的学习曲线，该模型能像人类一样使用CAD软件。给定一个物体的2D草图，该模型可以通过点击按钮和文件选项快速创建3D版本，其操作方式类似于工程师使用软件。

麻省理工学院的研究团队创建了一个名为VideoCAD的新数据集，其中包含超过4.1万个在CAD软件中构建3D模型的示例。通过学习这些视频（这些视频逐步展示了不同形状和物体是如何构建的），新的人工智能系统现在可以像人类用户一样操作CAD软件。

借助VideoCAD，该团队正在构建一个“AI驱动的CAD协理工具”。他们设想，这种工具不仅可以创建设计的3D版本，还可以与人类用户协作，建议后续步骤，或者自动执行那些原本需要手动点击、既繁琐又耗时的构建序列。

“人工智能有机会提高工程师的生产力，并使CAD软件对更多人来说更容易上手，” 麻省理工学院机械工程系研究生Ghadi Nehme表示。

“这一点很重要，因为它降低了设计的入门门槛，帮助没有多年CAD培训经验的人更容易地创建3D模型，并发挥他们的创造力，” 麻省理工学院机械工程系副教授Faez Ahmed补充道。

Ahmed、Nehme，连同研究生Brandon Man和博士后Ferdous Alam，将在12月的神经信息处理系统大会（NeurIPS）上展示他们的工作。

逐点击操作

该团队的新工作建立在近期人工智能驱动的用户界面（UI）代理的发展之上——这类工具被训练用于操作软件程序来执行任务，例如自动在线收集信息并整理到Excel电子表格中。Ahmed的研究小组想知道，是否可以将这种UI代理设计用于操作CAD软件。CAD软件包含的功能和操作要多得多，并且涉及的任务远比普通UI代理能够处理的复杂。

在他们的新工作中，该团队旨在设计一个AI驱动的UI代理，由其接管CAD程序，通过逐次点击，将2D草图转化为3D版本。为此，团队首先研究了一个由人类在CAD中设计的物体现有数据集。该数据集中的每个物体都包含了用于构建最终物体的一系列高层设计命令，例如“草图线条”、“圆形”和“拉伸”。

然而，团队意识到，仅凭这些高层命令不足以训练一个AI代理来实际使用CAD软件。一个真正的代理还必须理解每个操作背后的细节。例如：它应该选择哪个草图区域？何时应该放大？应该拉伸草图的哪个部分？为了弥合这一差距，研究人员开发了一个系统，将高层命令转换为用户界面交互。

“例如，假设我们通过从点1到点2画一条线来绘制草图，” Nehme解释说。“我们将这些高层动作转换为用户界面动作，这意味着我们说，从这个像素位置开始，点击，然后移动到第二个像素位置，再点击，同时保持‘线条’操作被选中。”

最终，团队生成了超过4.1万个关于人类设计的CAD物体的视频，每个视频都实时描述了人类最初执行的特定点击、鼠标拖拽和其他键盘操作。然后，他们将所有这些数据输入他们开发的模型中，以学习UI动作与CAD物体生成之间的联系。

在以这个他们称之为VideoCAD的数据集上进行训练后，新的人工智能模型可以将2D草图作为输入，直接控制CAD软件，通过点击、拖拽和选择工具来构建完整的3D形状。这些物体的复杂程度不一，从简单的支架到更复杂的房屋设计都有涉及。该团队正在训练模型处理更复杂的形状，并设想该模型和数据集有朝一日能够为广泛领域的设计师提供CAD协理工具。

“VideoCAD是迈向AI助手的重要第一步，这些助手可以帮助新用户上手，并自动化那些遵循熟悉模式的重复性建模工作，” Autodesk Research（一家开发新设计软件工具的中心）的高级研究科学家Mehdi Ataei表示，他未参与此项研究。“这是一个早期的基础，我很期待看到后续的发展，比如覆盖多个CAD系统、更丰富的操作（如装配和约束），以及更现实、更复杂的人类工作流程。”FINISHED