摘要

技术的发展应该让更多人受益。

这两年，估计没有比「元宇宙」更热的话题了。

2021 年 10 月，Facebook 改名成「Meta」，全力押注元宇宙，这成为元宇宙发展的标志性事件，引爆网络。

而在众多进入到元宇宙中的玩家中，英伟达不可忽视。

NVIDIA Omniverse 最早于 2019 年就正式被提出，早在这波元宇宙热潮之前。2020 年，Omniverse Open Beta 公测版本上线，在 CES 2022 上，英伟达宣布向全球数百万个人创作者和艺术家提供 Omniverse 的免费版本。

英伟达创始人黄仁勋认为，Omniverse 是「工程师的元宇宙」，一个为元宇宙创作者、设计师、研究人员和工程师打造的平台。目前 Omniverse 也已经成为关注元宇宙发展必须要关注的平台。

何展做客 Founder Park by 极客公园的「Rebuild」栏目 | 来源：直播截图

Omniverse 与元宇宙的关系是什么？英伟达又是打算如何参与元宇宙的建设呢？6 月 1 日，NVIDIA 中国区 Omniverse Lead 何展做客极客公园的「Rebuild」直播间，一起畅聊英伟达在元宇宙上的思考和布局。

01 Omniverse 与元宇宙

Founder Park：英伟达推出 Omniverse 平台的动机是？

何展：Omniverse 是 2019 年上半年在英伟达的  GTC（GPU 开发者大会）上由创始人黄仁勋发布的，如今已经有三年的时间，但是其实一系列的构想五年前就有了，初衷是解决设计师和艺术家的一些痛点。

设计师们经常会用到一些设计类软件，Autodesk、Maya、Abode、Unity 或者 UE（Unreal Engine）等，这些软件都有一个痛点，不同软件的文件格式不统一，没有统一的数据标准。还有就是随着软件的升级和设计工作的复杂，3D 模型文件的数据量越来越大，一个三维项目动辄就有几百 G 的模型文件，打开或者修改都很痛苦。

看到了这两个痛点之后，我们就想着是不是可以由英伟达主导来统一文件格式，让大家在一个界面下去操作概念设计、细节设计、材质定义以及实时渲染的软件。基于这样的设想，就推出了这个平台。

Founder Park：2019 年的时候，元宇宙（Metaverse）还没有开始流行，为什么会将平台命名为 Omniverse？

何展：这个词是创始人黄仁勋先生提出的，Omni 是英语里表达「全能」或者「万能」概念的一个词根。不管是新兴的元宇宙还是其他概念词，其实都是一步一步引申过来的。我们认为，如果做好一件新概念的事情，需要很多技术融合在一起，所以希望这个平台能够提供比较全能的工具箱和技术给用户。

Founder Park：如何理解 Omniverse 平台的功能和用途？

何展：Omniverse 关注数字世界的创建，它不是一个软件工具，而是一个技术平台，定位于创建、模拟和交互基于真实世界的物理准确的数字世界。

Omniverse 希望能够帮助大家创造出想要的数字化作品或者数字世界，这些作品本身又遵循物理世界的客观规律，相当于可以用我们的平台把真实世界的物理逻辑映射到数字世界中。

Founder Park：听起来和数字孪生的概念有些像，有什么区别吗？

何展：数字孪生其实不是新的概念，简单来说就是有很多需要真实模拟的场景比如火箭发射等，建造复制品的成本太高，所以就有了数字孪生的概念。数字孪生可以帮助降低成本，而有着和物理世界的复制品一样的效果也可以辅助我们进行决策分析。

还有一个概念是数字原生，就是建造的东西和真实世界不太一样，不需要遵循物理世界的规律，数字原生会更创新、更艺术一些；数字孪生和工厂等结合得更多一些，Omniverse 则希望两者都能兼顾到。

Founder Park：那么数字孪生和仿真的区别是？

何展：两者的概念很相近，都是在用技术将真实世界的一些物体在数字世界里生成，而且必须要有实际的用途和意义。数字孪生是学术界通用的一个词汇，而仿真主要是一些仿真科学的软件中用到，比如流体动力学等，叫法不一样，但是做的事情和方向是一致的。

也可以说数字孪生是一个更大一点的概念，而仿真可能是其中的一个子集。

Founder Park：Omniverse 和我们熟知的UE、Unity 等游戏引擎的区别是？

何展：定位不太一样，UE、Unity 更倾向于应用端，而 Omniverse 更定位于应用端和硬件之间的中间层，对于一些技术的引入方式也不一样。

不过我们也和这两个平台有非常紧密的合作，大家共同探索一些底层的技术，比如光线追踪、路径追踪以及渲染等。

Founder Park：统一文件格式背后的创新主要是什么？解决了什么问题？

何展：我们选择的是开源的 USD 格式，来源于皮克斯工作室。

影视工作的 3D 模型文件对渲染的要求非常高，所以文件的细节更丰富，数据量也会更大。早期皮克斯用的是 Menv 软件，这个软件的格式有两个文件：记录 reference 的钩子文件和记录动画信息的动画文件，这个时候效率已经比别人快了一些，可以加入一些更高效率的技术进来。随着制作复杂度的提升，皮克斯开发了第二代的技术，也就是 Presto 软件和文件格式 USD，新一代技术解决了两个问题。

Presto 工作流程和 USD 格式 | 来源：Pixar 官网

首先是协同设计和并行设计的问题，不同的设计流程中可能会有很多环节，将之前负责单独记录的钩子文件改成了并行，支持了协同设计。

第二是在调整的过程中只记录变更信息，也就解决了文件修改后体积太大的问题。

Founder Park：在元宇宙概念出来后，你们对于 Omniverse 的定义是否发生了变化？

何展：我们更关注于元宇宙世界里工业和工程方向的应用，主要分为三部分：

第一个是更加关注于 3D 创作和设计，以及项目的流程，努力从工作流里解决大家的痛点和难点。

第二个是关注 AI 如何在 3D 的世界里进行应用，比如自动驾驶领域里的 SDG 技术（合成数据生成），因为我们在现实世界创建或者扫描的 3D 模型数据已经不足以进行自动驾驶训练了，需要利用 AI 生成一些全新的，现实世界里没有的数据进行训练。

第三个是算力的可延展和可扩展性，不管是数字化作品还是数字环境生成都需要算力，我们希望能够扩展的云、边、端的算力能力。

核心还是关注工程化的技术，尽可能去工程化，降低门槛，让更多人参与和创作自己的作品，成为数字世界的 owner。

Founder Park：为什么会花精力去打造这样一个技术平台？背后的逻辑是？

何展：元宇宙概念之前，很多企业都在做数字化转型，不过都集中于 2D 数据的收集、分析和应用，比如视频、文字、语音类的数据，我们已经把 2D 数据的应用发挥到极致了。未来企业里还有很多 3D 的内容数据，它们在数字世界里也是很珍贵的存在。现在的趋势是我们越来越关注 3D 数据的利用，如何进行产业的升级等，比如数字人、数字资产包括工厂的数字环境等，也就是说，2D 升级到 3D 的过程中，对于新技术应用的需求是非常明显的。比如数字人，配合着计算机图形学、VR 技术、算力等的进步，现在的数字人已经远远超过了五年前的技术水平。

英伟达现在已经转型为一个全软件堆栈的 AI 计算平台公司，我们会提供给用户很多开箱即用的工具和平台，甚至 SDK、算法等，降低成本，促进更多新应用的落地。

02 Omniverse 的商业化

Founder Park：Omniverse 目前主要应用在哪些领域？

何展：首先是影视娱乐行业。其次是建筑行业，住房、办公楼的设计应用，一般称之为 AEC（Architecture, Engineering & Construction），还有个概念叫 BIM，building information model。

第三个会贴近于产品设计和制造业。其他的像科研机构的数字孪生地球的项目，以及工业机器人、自动驾驶和医疗也是有应用落地的。

Founder Park：从 2019 年到现在，Omniverse 覆盖的行业和公司数量大概是什么量级？

何展：像 UE、Maya、Autodesk 这样的软件合作伙伴，目前大概有 82 款，都可以直接连接到 Omniverse 平台进行设计协同。

行业的话，我们一般会优先找不同行业的顶尖公司，也就是灯塔客户（Lighthouse customers），比如汽车行业的宝马、工业设计领域的西门子、影视制作行业的工业光魔等，这类客户我们目前已经积累了超过 500 家。

还有一类是开发者合作伙伴，目前已经有超过 10 万的活跃开发者，15 万的下载量了。

第四类是我们非常重视的一个全球性的项目——NVIDIA Inception Program，也就是英伟达初创合作伙伴计划的成员，目前全球成员数超过 12000 家，国内超过 1100 家。这个项目对初创企业筛选的标准比较严苛，比如说要有技术导向，或者在某一行业技术积累比较深。

Founder Park：刚才所说的 NVIDIA Inception Program 会对创业公司提供哪些帮助？

何展：首先是技术方面的支持，包括但不限于算法等技术的第一时间的同步更新，以及直接沟通的渠道。

第二是共享英伟达的客户资源，帮助他们扩充自己的商业市场。

第三是通过英伟达的影响力介绍更多的 VC 资本等，让他们获得更充足的资金来提升企业的核心竞争力。当然常规的比如 GPU 的打折优惠等活动也会有。

Founder Park：各行各业的这些客户，在运用 Omniverse 解决问题的时候，遇到过什么有趣的案例？

何展：有一个数字孪生地球的项目，研究大气河的现象。可以理解为空中的河流，会带来强降雨、暴风雪等。

我们试图用真实的地球的气象数据来分析大气河的精确走向和路径，而且可以提前一周计算出了轨迹。算力加速之后，可以生成更多的数字孪生地球，分析成千上万种可能，然后看哪个更精准，这样就可以帮助大家预测飓风等天气，减少人员伤亡。

另外我们的开发者还做了一个有趣的实验，利用耦合电阻的物理学原理，用现实世界里的转动开关按钮来控制 Omniverse 数字世界的电圈转动，真实世界和虚拟世界就发生了交互。未来是不是可以通过现实世界里的东西驱动数字世界的东西呢？甚至数字世界里的东西是不是可以驱动工厂机器呢？这些都有很大的想象空间。

Founder Park：Omniverse 的商业模式是什么样的？

何展：面对个人设计师、艺术家和爱好者是免费的，也希望通过这个平台降低设计技术门槛，让更多人成为自己的设计师。

企业端会有一个付费的企业版本，支持多项目协同、异地协同等。市场容量的话，粗略估计有超过 1500 亿美元的市场规模。

Founder Park：Omniverse 现阶段探索研究的方向是？

何展：英伟达关注的是底层的技术，试图打造技术底层的内容。比如我们最近发现的一个共性问题，2D 转 3D 这件事都多少年了，至今仍然有很多公司在提供 3D 扫描的逆向工程服务，我们在研究让 2D 通过算法生成 3D，也就是 neural rendering（神经渲染），这件事情能够解决通用性的问题，未来成功后会集成在平台上。大家就可以基于这个技术快速创建，在目前的测试实验中，100 张照片就可以生成一个真实的 3D 模型，而且生成时间很快，几秒钟的时间。

这类具有先导性的技术是我们想去补齐的。

下面这段视频是一段 AI 学习能力的展示。视频中的机器人展示会模仿真实人类的行走、击剑或者受重力打击时的状态。传统上这些动作都需要用动画做出来，现在则可以在数字环境中强化学习训练出来，而且按照现有的 GPU 算力，三天时间就可以完成。

这其中运用到的技术是 transformer，基于 NLP 的文本学习技术，这是我们在探索研究的一个方向，让大家低门槛低成本去做出更好更有想象的数字世界。

人工智能从根本上改变了软件能做什么，同时又决定能够制造出什么样的软件。

03 英伟达的数字人规划

Founder Park：英伟达在自动驾驶领域做了哪些工作？

何展：自动驾驶现在比较难的事情在于数据，尤其是地图数据，这些数据首先是作为导航数据，其次是要收集足够的训练数据，进行自动驾驶的算法训练。但是有些数据是收集不到的，比如下雨天或者下雪天路滑导致的侧滑，以及出现两车相撞的极端情况等，虽然概率很低，而恰恰是这些数据出现在训练数据集里才更有意义。收集不到真实数据，能不能合成 3D 的数据进行训练呢？这个是我们最近围绕算法层面在做的一个事情。

另外是热卖的 NVIDIA DRIVE Orin 芯片，国内知名的造车新势力都选择了这款芯片，目标还是希望通过软件和硬件在算力上帮助大家在自动驾驶方面尽快达到真正能使用的 L4*甚至 L5*级别。

L4：自动系统在某些环境和特定条件下，能够完成驾驶任务并监控驾驶环境。

L5：自动系统在所有条件下都能完成的所有驾驶任务。

Founder Park：数字人也跟 Omniverse 密切相关，你们如何看待这个行业的发展趋势？

何展：三年前数字人相关的公司可能都不超过一百家，那时候数字人制作成本高，制作周期长，效果也没法满足客户的要求，一个超写实的数字人成本不低于 100 万美元。

现在的话，制作公司变多了，成本也下降了，现在可能只需要几十万人民币，甚至还有几万块可以进行快速生产，技术的革新带来的产业的变革。

而技术的变革其实也来自于用户需求的推动，个人对于简单重复性劳动的厌烦，企业端则是银行、学校或者销售对于数字人的需求。加上 AI 技术、云计算等各种技术的发展，也有效降低了成本，提高了可用性。

Founder Park：中之人和AI驱动的数字人哪种才是未来的技术方向？

何展：AI 驱动的技术路径才是可行的，因为会大幅降低成本。

前几天跟业内人士也聊过这个问题，从甲方的角度考虑，如果是中之人的话，比如说需要交付一个数字人，成本可能是 100 万人民币，如果数量上去了，单个的成本不会降低，再加上中之人演员，成本又上去了。超过某个 ROI 基点后，AI 驱动的数字人成本会明显下降。

中之人对技术的要求也会比较多，首先是建模的能力，建模后需要各种绑定：骨骼绑定、肌肉绑定等。之后就是使用各类动捕的软件去操纵数字人。驱动的难点也比较多，搞不好就会出现一些 bug，比如手和衣服分开了等。

Founder Park：相对于培养虚拟偶像，感觉英伟达更在意的是数字人如何落地到更多行业？

何展：还是企业基因决定，不仅仅是 Omniverse，十多年前的 CUDA 平台也是，都是从最实际的用户需求来考虑，最终还是考虑技术的发展如何创造最大的价值。

数字人存在的意义究竟是什么？回归到个人的话，我自己确实需要一个数字分身，只要能同步我的健康数据就可以，消耗了多少卡路里、摄入了多少卡路里、身体状态等，我相信每个人会有类似的需求，就看哪家公司能够最终把这件事做出来了。

Founder Park：除了数字人之外，在虚拟世界的搭建上，英伟达还关注哪些方向？

何展：数字人之外，数字物品或者数字资产也是一个方向，比如个人喜欢的一些现实世界里存在的物体、买不起的文物、甚至于喜欢的影视作品中的一个物件等，都可以用数字化的方式进行保存。

另外一个方向就是数字孪生在工业上的应用，比如工业的数字化，数字世界的操作对应现实世界的生产了。

Founder Park：英伟达考虑推出VR、AR设备吗？

何展：我们不做设备。Omniverse 本身是一个云原生的系统，目标是让数百万人共享 Omniverse 创建单独数字世界，自然也需要让人们通过某个隧道打开这个世界，而 VR、AR 就是最合适的方式和技术，我们是基于软件层的算法和 NVIDIA CloudXR 的 SDK 来和其他公司的硬件合作，帮助大家通过不同的隧道穿梭在不同的数字世界中。