SIGGRAPH 2023 | NVIDIA 发布支持生成式 AI 与 OpenUSD 的重大 Omniverse 升级

洛杉矶 — SIGGRAPH — 太平洋时间 2023 年 8 月 8 日 — NVIDIA 发布 NVIDIA Omniverse™ 平台的重要版本更新，为开发者和工业企业提供全新的基础应用和服务，助力其使用 OpenUSD 框架和生成式 AI 来优化并强化其 3D 工作流程。

Omniverse 是一个 OpenUSD 原生软件平台，可进行跨 3D 工具和应用的连接、描述及模拟。此次更新将加快虚拟世界和高级工作流的创建速度，推动工业数字化进程。Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics 现已通过 OpenUSD 接入 Omniverse。

此次平台更新主要升级了 Omniverse Kit（用于开发原生 OpenUSD 应用和扩展程序的引擎），以及 NVIDIA Omniverse Audio2Face™ 基础应用和空间计算功能。

NVIDIA Omniverse 与模拟技术副总裁 Rev Lebaredian 表示：“工业企业正在竞相推动工作流的数字化，这提升了对 OpenUSD 赋能、互联、可互操作的 3D 软件生态的需求。最新的 Omniverse 更新让开发者能够通过 OpenUSD，利用生成式 AI 来强化自身工具，并让企业能够构建更大、更复杂的世界级模拟，以此作为其工业应用的数字测试场。”

Omniverse Kit 的更新包括：

• 全新模块化应用构建：全新 Omniverse Kit Extension Registry 是一个用于访问、共享和管理 Omniverse 扩展程序的中央存储库，开发者可以轻松启用或关闭其应用中的功能，因此能够比以往更加轻松地利用 NVIDIA 提供的 600 多个核心 Omniverse 扩展程序来构建自定义应用。

• 全新开发者模板和资源：全新应用和体验模板让刚开始使用 OpenUSD 和 Omniverse 的开发者只需要进行极少量的编码工作就能轻松上手。

• 提升效率和用户体验：全新渲染优化功能充分利用 NVIDIA RTX™ GPU 中 NVIDIA Ada Lovelace 架构的各项改进，并将 DLSS 3 技术完全集成到 Omniverse RTX 渲染器中。全新 AI 降噪器可实现大型工业场景的实时 4K 路径追踪。

• 由原生 RTX 驱动的空间集成：全新扩展现实（XR）开发者工具可让用户在基于 Omniverse 的应用中构建原生空间计算选项，使用户能够按照自己的想法灵活地体验 3D 项目和虚拟世界。

这些平台更新在 Omniverse 基础应用中得到了展现。Omniverse 基础应用是完全可定制的参考应用，创作者、企业和开发者可以对其进行复制、扩展或改进。升级的应用包括：

• Omniverse USD Composer：让 3D 用户能够组装基于 OpenUSD 的大型场景。

• Omniverse Audio2Face：提供对只需通过音频文件即可创建逼真面部动画和手势的生成式 AI 应用编程接口的访问。现在还添加了多语种支持和全新女性基础模型。

NVIDIA 还发布了一系列面向开发者和企业的框架、资源和服务，以此加速通用场景描述（即OpenUSD）的采用。

此外，NVIDIA 还宣布构建了全新的 Omniverse Cloud API，供开发人员更无缝地实现和部署 OpenUSD 工作流和应用程序。例如，ChatUSD 是一个供开发人员使用的大型语言模型（LLM) copilot 工具，可以回答 USD 知识问题或生成 Python-USD 代码脚本。

OpenUSD 支持的全新 Omniverse 连接器现已推出，为工业企业打破复杂生产流水线中的数据孤岛带来了更多的可能性。

Adobe 与 NVIDIA 宣布计划将 Adobe Firefly（Adobe 的创意生成式 AI 模型系列）作为 Omniverse 的 API 提供给开发者和创作者，助力其完善设计流程。此举扩大了双方在 Adobe Substance 3D、生成式 AI 和 OpenUSD 项目方面的合作。

Wonder Dynamics 已接入 Omniverse，通过其 AI 平台 Wonder Studio 提供全新 OpenUSD 导出支持。Wonder Studio AI 平台可自动对计算机生成的角色进行动画化、添加照明并合成到实时动作场景中。全新 OpenUSD 导出支持将使艺术家只需要使用单个摄像机拍摄的视频，就能生成并导出完整的 3D 场景。

Luma AI 以 USDZ 格式制作的现实捕捉模型可以随时导入到 Omniverse 中。虚拟形象公司 Convai 和角色引擎公司 Inworld AI 的工具也接入了 Omniverse。借助 Convai 等 AI 工具，创作者可以在数字孪生环境中添加角色，这些角色可以提供环境和物体的相关信息，也可以充当导游或虚拟机器人。Move AI 通过 Move One 应用实现了单摄像头动作捕捉，捕捉的图像可用于生成 3D 角色动画，然后将其导出到 OpenUSD 并在 Omniverse 中使用。

Omniverse 用户现在可以构建与其他基于 OpenUSD 的空间计算平台（如 ARKit 和 RealityKit）兼容的内容、体验和应用。此外，对 Khronos Group OpenXR 开放标准的全新支持将 Omniverse 的应用范围扩展到了 HTC VIVE、Magic Leap 和 Varjo 等制造商生产的更多头显。

SideFX Houdini 的用户现在还可以将 Houdini Digital Assets 直接加载到 Omniverse 视窗中，使基于 Houdini 的互联工作流衔接得更加无缝。Cesium 的 Omniverse 扩展程序 Cesium for Omniverse 支持 3D Tiles。3D Tiles 是一种在虚拟世界（包括 OpenUSD 支持的虚拟世界）中传输大规模地理空间数据集的开放标准。CGI.Backgrounds 现在可在 USD Composer 中使用多种超高清 HDRi 贴图。Cadence DataCenter Design Software™ 现可在 Omniverse 上使用，其可帮助用户在完整的数字孪生情境中查看计算流体动力学模拟。借助 Cadence 数据中心扩展程序，用户可以在实施前规划、测试并验证设计和运营方面的考虑因素。Blackshark.AI 世界数字孪生平台现已接入 Omniverse。

多家客户正在使用 Omniverse 来完成从模拟机器人到训练 AI 模型和改进动画等各种任务。

波士顿动力人工智能研究所（Boston Dynamics AI Institute）正在使用 Omniverse 模拟机器人及其交互，以推动新型机器人和控制系统的设计工作。汽车和自主系统产业化领域的领先企业大陆集团正在其移动机器人业务中使用 Omniverse，以大规模地生成符合物理学的合成数据，用以训练计算机视觉 AI 模型和执行系统集成测试。

沃尔沃汽车已将其数字孪生转为 OpenUSD 格式，使用 Omniverse 创造出沉浸式可视化效果，帮助客户在线做出购买决策。

品牌设计及体验机构 Marks Design 正在使用 Omniverse 和 OpenUSD 来简化并提高协作的效率，同时改进其动画、可视化和渲染工作流。