内容摘要
要让医生/学员实时演练缝合、让策略做闭环评测，仿真环境必须能跟着动作即时变化。英伟达在 Hugging Face 公布的 Cosmos-H-Dreams 是实时、动作条件的生成式外科世界模型：输入一帧手术场景图像和一串机器人运动学动作后，模型自回归地按短块生成后续视频，人或已学习的策略能当场看到动作的后果。相比只做离线双向生成的教师模型，本次公开的权重是因果、少步、由双向教师蒸馏出的流式学生模型（模型卡称 causal, few-step self-forcing distilled student），把被动出片变成能即时响应动作的仿真器；检查点专门面向达芬奇研究套件（dVRK）桌面缝合任务。
底座是 2B 参数的潜空间视频扩散 Transformer。教师模型从 Cosmos-H-Surgical-Simulator 的 Open-H 44D 检查点热启动后微调；学生模型沿用同一骨干，加入因果时序注意力掩码、流式 KV 缓存（复用注意力键值以免重算）和 CUDA Graph 捕获（把稳定态前向计算固化为图形），每轮前滚 12 帧、每个隐帧 2–4 步去噪。动作统一为 44 维向量，dVRK 检查点用 20 维双臂内容补零到 44 维；每个 12 帧输出块消耗 12 个动作步，有效控制频率 10 Hz，推荐分辨率 288×512。
厂商称实时交互服务已在单张 NVIDIA RTX PRO 6000 上验证，也能跑在 A100、H100 上；配套 GitHub 流式推理库含 torch.compile + CUDA Graphs 与键盘/Quest 服务栈。预训练用 Open-H 约 26,500+ 例手术演示（约 4.9 百万同步视频-运动学帧），后训练约 1 百万帧 dVRK 缝合数据，并保留失败片段。
点评
对接机器人本体或策略软件时，接口是明确的：给一帧上下文图像加一条 44 维动作流，服务每 12 个动作步回传 12 帧画面；人可以拿键盘或 Meta Quest 头显手动驱动，也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库，对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述，落地前仍需在自己的场景、动作空间和硬件上实测。
限制：全部信息来自英伟达模型卡自述，属厂商声明；卡片只给出“能实时生成物理上合理的手术视频”这类定性说法，未公布帧率、延迟、画质或闭环成功率等量化指标，本次材料中也没有第三方复现。仅测试过 BF16（脑浮点 16 位）精度，FP16、FP32 等不受官方支持；权重仅面向 dVRK 桌面缝合一种场景。网页为抓取时的快照，卡片已把用户指向更新的 Cosmos3-H-Dreams 版本，故上述描述对应较早一版公开权重。
版本与核查范围
版本 cd02fd05d56edf0470140a21420dffabef415309 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 README:paragraph:5；README:paragraph:6；README:paragraph:19；README:paragraph:21；README:paragraph:20；README:paragraph:22；README:paragraph:26；README:paragraph:42；README:paragraph:36；README:paragraph:40；README:paragraph:28；README:paragraph:4