英伟达全栈工具链如何重构Groot机器人开发链路（4）

接之前内容：

英伟达全栈工具链如何重构Groot机器人开发链路（一） 英伟达全栈工具链如何重构Groot机器人开发链路（2） 英伟达全栈工具链如何重构Groot机器人开发链路（3）

如老黄所提及的，Groot是NVIDIA的一项战略， 它包含四个关键要素：基础模型（如Groot模型）、合成数据生成、管道与模拟器（包括基于Omniverse构建的Isaac Sim），以及边缘侧的机器人计算机（比如Thor）。

物理人工智能可通过模拟实现，老黄刚刚也提到了这一点。 借助NVIDIA的Omniverse和Cosmos， 实际上可以将两者的优势相结合。

在Omniverse中，可以构建数字孪生或数字舱体，即在数字世界中创建相应实体。同时，还设有机器人训练场， 用于对机器人进行训练或测试。 此外，还可以利用Nvidia的Cosmos，将这些数据或环境转化为高保真度的呈现形式，并可用于训练评估，以形成闭环，从而缩小模拟与实际应用之间的差距。

对于模拟和机器人学习框架，可以访问Nvidia Omniverse平台，以及相关的API。 通过该平台，可以引入开放的USD格式，并利用物理引擎RTX渲染技术。在此基础上，构建了两个框架： Isaac Sim可用于机器人学习，它提供了训练API框架，支持模仿学习和强化学习。 此外，还提供了一系列资产和环境， 如执行器、控制器等。

在Omniverse中，可以构建数字孪生或数字舱体，即在数字世界中创建相应实体。同时，还设有机器人训练场， 用于对机器人进行训练或测试。此外，还可以利用Nvidia的Cosmos,并可用于训练评估，以形成闭环，从而缩小模拟与实际应用之间的差距。

对于模拟和机器人学习框架，可以访问Nvidia Omniverse平台以及相关的API。通过该平台，可以引入开放的USD格式，并利用物理引擎RTX渲染技术。在此基础上，构建了两个框架：Isaac Sim可用于机器人学习， 它提供了训练API框架，支持模仿学习和强化学习。此外，还提供了一系列资产和环境，如执行器、控制器等。通过这些资源，

在进行机器人训练和测试方面，我们可以做很多事情，尤其是在Isaac Sim方面。

然后，你还可以做更多的事情。Isaac Sim为你提供了处理不同数据的能力，然后你可以将其导入Isaac Sim所需的格式。此外，它还提供了传感器工具、合成数据生成管道以及可用的接口。

接下来，让我们更深入地探讨一些我们为你开源的工作流程，以便你尝试使用Nvidia的生态系统。

首先，Isaac GROOT这是基于一系列研究构建的，包括刚刚提到的DexMimicGen。 首先，你有来自人类操作机器人的数十个演示。这里需要注意的一点是，你并不一定需要真实的人类来进行操作， 实际上，你可以通过Omniverse中机器人的数字孪生，直接在Isaac Sim中给出操作演示。我们还为你提供了良好的操作工作流程，以便你轻松完成这一任务。 然后，通过Group Mimic，你可以生成数百个更多的合成运动，这些运动是对原始轨迹的增强。之后，在Cosmos中，你可以获得带有逼真渲染的训练数据。

接下来，我还会与你分享一些工作流程， 这些流程使你能够为机器人构建整体的移动能力， 甚至局部操作能力。我们已经开源了MobilityGen、Mobility和Control Workflows.

正如老黄提到的，我们有两个原则，即系统一和系统二。

对于系统二，你有记忆工作流程，我们结合了视觉语言模型、大型语言模型和向量数据库，使机器人能够拥有长时间的记忆，比如数小时或数天的记忆，从而直接与人交互。你可以问它：“我在哪里可以找到电梯？”“你看到一只猫经过了吗？”然后，它会给你目标并回答你的问题。之后，我们将这些信息发送到系统一，而且这一切都可以一起训练，或者你也可以根据你的用例使用每个组件。

然后，这些目标状态会进入Mobility Workflow，用于训练基础模型。这也是一个端到端的流程，从像素输入到动作输出。

通过这样，你获得了mobility的基础模型，包括移动策略(Mobility Policy和 词建模(World Modeling)。然后，这些信息可以发送到，更高频率的控制器，或者你想用于机器人的任何控制器。这也是跨具身化的，我们稍后会深入探讨。

你可能会问：“我如何获得大量数据来训练角色模型？”我们为你提供了移动管道，你有能力，并且所有代码都可用，以便你结合Isaac Sim，并使用Costmos,在Omniverse上进行数据增强。然后，使用这些数据，你可以在Isaac Sim中进行模仿学习和强化学习，以获得适合你用例的移动基础模型(Mobility fundation model)。 之后，我们可以在Isaac Sim的虚拟世界中测试这些模型，也可以将其部署到真实机器人上。

对于移动管道，你可以带入任何USD格式的场景，也可以带入你自己的机器人资产，基本上就是你的机器人的数字孪生，以及你想要部署的环境的数字副本。

它经过两个步骤：MobilityGen Recording，然后回放和重新渲染。

对于这两个步骤，你实际上有很大的灵活性。你可以在机器人资产的任何位置添加额外的传感器，它会为你重新渲染，甚至不需要重新运行录制状态。关于机器人的动作，你有多种控制方法。你可以在数字世界中使用遥操作， 你也可以带入你的自主堆栈。我们为你提供了API来尝试这些方法，我们还提供了随机动作和默认规划堆栈， 以方便你使用。

然后，使用这些录制数据的输出，你可以将其拟合到Nvidia Cosmos的传输模型中，并获得增强数据。 这些数据以及原始录制数据可以用于模型训练和算法测试。

正如我们所说，当你结合Omniverse和Cosmos时，你可以获得两者的优点。 从轨迹录制到回放渲染，然后你获得了视频和客户传输。实际上，通过Cosmos传输，你获得了非常逼真的效果。 例如，你实际上可以看到地面上的污渍。你可以给它任何提示，例如，你可以改变货架的颜色，你可以改变环境， 你甚至可以在地板上放一些水，以测试你机器人的鲁棒性。

(完结）