NVIDIA Cosmos3-Nano-Sim-Auto：用 Cosmos 做面向物理 AI 的交互式世界仿真

内容摘要

自动驾驶策略要做闭环验证，需要一个“策略动作会改变下一帧画面”、还能同步给出多路相机与激光雷达的仿真环境。NVIDIA 在 Hugging Face 发布的 Cosmos3-Nano-Sim-Auto 官方定位是实时闭环驾驶仿真器：以文字提示加 WSM（World Scenario Map，世界场景图）控制为条件，生成时空同步的多视角相机视频与激光雷达观测；WSM 控制由渲染器把策略的规划轨迹或人工方向盘输入转换而来。

模型由 Cosmos3-Nano 两阶段得到：先用含激光雷达的多传感器驾驶数据后训练成 Transfer-Auto，再做因果蒸馏成少步模型，以小块潜帧逐块生成，靠缓存历史维持跨块的时间上下文，使后续观测反映更新后的驾驶输入；相机与激光雷达联合生成。可训练参数 16B，最多支持 11 路标准与鱼眼相机，激光雷达与相机对齐并转成 3D 点云；实测激光雷达条件下只支持一次初始扫描。

厂商自报的多视角 RGB 评测（720p、7 路相机、297 帧、4 步去噪、guidance 1；对照基线用 guidance 3 且提示词不同）中，文本生视频设定下帧级 FID（Fréchet Inception Distance，比较生成与参考的帧特征分布）为 48.6，FVD（Fréchet Video Distance，比较视频特征分布）I3D 为 480、StyleGAN-V 为 479，优于对照的 61.9、772、770；但 DOVER 视频技术质量 7.30 低于对照的 8.56。

吞吐数字基于 vLLM-Omni、4 步去噪且不带 CFG、生成 201 帧：不含激光雷达时 GB200 上 1 路 720p 为 10 fps、7 路 720p 为 1.3 fps、11 路 720p 为 0.74 fps，H20 上 11 路 720p 仅 0.1 fps；含激光雷达时 GB200 7 路 720p 为 1.1 fps、11 路 720p 为 0.65 fps。按这组自报数字，“实时”只在低路数、低分辨率下接近。

点评

对自动驾驶与机器人软件开发者，这次的关键变化是闭环输入直接来自策略自身的规划轨迹，且相机与激光雷达是联合生成的（官方称用于支撑空间与时间一致性），因此多传感器感知栈与驾驶策略能在同一次 rollout（一次连续生成）里一起评估，而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU，模型卡未提及嵌入式或车端部署，因此按现有公开信息，它更适合放在数据中心侧跑仿真生成数据，而不是直接装进机器人本体。

评测与吞吐数字全部出自 NVIDIA 官方模型卡自报，本次材料中没有任何独立第三方的复现实验；对照基线使用不同提示词与不同 guidance scale，比较口径不完全对齐，且 DOVER 一项反低于基线。多路高分辨率吞吐距实时仍远（H20 上 11 路 720p 仅 0.1 fps；H100 在 11 路 720p 无激光雷达一格标为 "-"，按模型卡说明 "-" 表示不支持而非缺测数值），含激光雷达时吞吐进一步下降。实测激光雷达条件只支持一次初始扫描，多 GPU 优化官方称仍在进行中。材料为获取时的模型卡页面快照，其标注的首发日期不保证全部文字在报告截止前已存在。

原文与定位

• 原文链接 README:paragraph:9；README:paragraph:24；README:paragraph:26；README:paragraph:28；README:paragraph:77；README:paragraph:75；README:paragraph:80；README:paragraph:87；README:paragraph:90；README:paragraph:91；README:paragraph:93；README:paragraph:94