美国加利福尼亚州圣何塞—— GTC ——太平洋时间2025年3月18日——NVIDIA今日宣布推出全新NVIDIA Cosmos™世界基础模型(WFM)的重大更新，该模型引入了开放式、可完全定制的物理AI开发推理模型，让开发者以前所未有的方式控制世界生成。
NVIDIA还推出了两款由NVIDIA Omniverse™和Cosmos平台提供支持的新蓝图，为开发者提供用于机器人和自动驾驶汽车后训练的大规模可控合成数据生成引擎。
1X、Agility Robotics、Figure AI、Foretellix、Skild AI和Uber是首批采用Cosmos的企业，可更快、更大规模地为物理AI生成更丰富的训练数据。
“正如大语言模型改变了生成式和代理式AI，Cosmos世界基础模型是物理AI的一项重大突破，”NVIDIA创始人兼CEO黄仁勋表示。“Cosmos为物理AI带来了一个开放式、可完全定制的推理模型，为机器人和物理工业领域的突破性发展带来了机遇。”
用于合成数据生成的Cosmos® Transfer
Cosmos Transfer WFM能够吸收结构化视频输入，如分割图、深度图、激光雷达扫描、姿态估计图和轨迹图等，以生成可控、逼真的视频输出。
Cosmos Transfer可简化感知AI训练，将Omniverse中创建的3D仿真或真值转换为逼真视频，用于大规模可控合成数据生成。
Agility Robotics将是最早采用Cosmos Transfer和Omniverse进行大规模合成数据生成，用以训练其机器人模型的公司之一。
Agility Robotics首席技术官Pras Velagapudi表示：“Cosmos为我们提供了一个在真实世界可采集的数据之外，扩展逼真训练数据的机会。我们很期待看到使用新平台解锁的新性能，同时充分利用我们已有的基于物理学的仿真数据。”
用于自动驾驶汽车仿真的NVIDIA® Omniverse Blueprint借助Cosmos Transfer放大基于物理传感器数据的变化。借助该蓝图，Foretellix可以通过为不同驾驶数据集改变天气和光照等条件来丰富行为场景。Parallel Domain也正在使用该蓝图将类似的变更应用于他们的传感器仿真。
用于合成操作运动生成的NVIDIA GR00T Blueprint结合了Omniverse和Cosmos Transfer，可大规模生成多样化数据集，利用OpenUSD驱动的仿真，将数据采集和增强时间从数天缩短到数小时。
Cosmos Predict用于智能世界生成
一月在CES上宣布的Cosmos Predict WFM能够通过文本、图像和视频等多模态输入生成虚拟世界状态。新的Cosmos Predict模型将支持多帧生成，在给定开始和结束输入图像的情况下，预测中间行为或运动轨迹。这些模型专为后训练而打造，可使用NVIDIA开放的物理AI数据集进行定制。
借助NVIDIA Grace Blackwell® NVL72系统及其庞大的NVIDIA NVlink™域的推理计算能力，开发者可以实现实时世界生成。
1X正在使用Cosmos Predict和Cosmos Transfer来训练其新型人形机器人NEO Gamma。机器人大脑开发商Skild AI正在利用Cosmos Transfer增强其机器人的合成数据集。此外，Nexar和Oxa正在使用Cosmos Predict来升级其自动驾驶系统。
用于物理AI的多模态推理
Cosmos Reason是一个开放式、可完全定制的WFM，具有时空感知能力，它使用思维链推理来理解视频数据，并能够预测交互结果，如一个人走进人行道或一个盒子从架子上掉下来。
开发者可以使用Cosmos Reason来提升物理AI数据标注和管理，增强现有世界基础模型或创建新的视觉语言动作模型。他们还可以对其进行后训练，构建高级规划器，以指导物理AI如何完成所需操作。
加速物理AI的数据管理和后训练
基于其下游任务，开发者可以在NVIDIA DGX™ Cloud上使用原生PyTorch脚本或NVIDIA NeMo™框架对Cosmos WFM进行后训练。
Cosmos开发者还可以使用DGX Cloud上的NVIDIA NeMo Curator来加速数据处理和管理。linker Vision和Milestone Systems正将其用于管理海量视频数据，训练用于视觉智能体的大视觉语言模型，这些智能体基于NVIDIA AI Blueprint进行视频搜索和总结。Virtual Incision正在探索将其部署在未来的手术机器人中，而Uber和Waabi正在推动自动驾驶汽车的开发。
推动负责任的AI和内容透明度
根据NVIDIA一贯的可信AI原则，NVIDIA在所有Cosmos WFM中都采用开放式护栏。此外，NVIDIA正在与Google DeepMind合作，将SynthID集成到水印中，帮助识别Cosmos WFM NVIDIA NIM™微服务的AI生成结果。
0 条