世界模型｜具身图谱

世界模型学习环境状态怎样随时间、动作和条件变化，可在状态、潜变量、视频或三维空间中实现。有些同时生成动作，但不都具备可校验的动作后果预测。

用途	能提供什么	关键验证
数据增强	视觉、场景或轨迹变化	标签/动作一致性及真实任务增益
状态预测	未来物体、接触或潜状态	时域、误差、分布外稳定性
离线策略评估	候选动作后果或回归环境	与真机排序/失败的相关性
在线规划与控制	预测与搜索、联合动作生成	动作可控性、时延、闭环收益

当前判断 · 2026-10-10 核查

WALL-WM v2（09-06 修订）给出事件级视频/动作建模和真机操作证据，但真机主指标是 Task Progress；新增 RoboTwin 仿真二值成功率 15.2%（76/500）。两者不能合并为通用成功率。依据与边界

Genie 3 的数分钟交互视频是窗口外背景，尚不能替代机器人动力学环境。Cosmos 3 Edge（08-19 发布）的策略后训练与端侧分块执行提供工程样本，22.9% RoboLab 成绩仍属仿真。依据与边界

当前证据支持按用途评估世界先验的价值，尚不支持用视觉真实感推断物理正确或长期任务可靠。10-10 补核的 DreamTrue 提供视频评分一致性与仿真策略结果对照，尚无由此提高真机任务成功的证据，详见动作条件世界模型。合成样本的真实收益另见合成数据。

历史观察

按发布时点排列，反映本站已收录范围，不代表完整研究时间线。

2026-10-29 · arXiv · 作者论文RAIBO-Wagon：四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师，用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题，落成一套可在机载算力上跑的分层方案：用生成模型给采样式 MPC 提供可行的初始指令，再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级（全机载算力、每周期 0.3 s、256 条候选），以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽，会在急转弯处连真实障碍一起删掉；在该组试验里，由屏蔽造成的直接碰撞比局部规划误差更严重。
2026-10-25 · Hugging Face · 官方声明Cosmos-H-Dreams：英伟达面向外科机器人的实时动作条件世界模型（模型卡已指向更新版本）
对接机器人本体或策略软件时，接口是明确的：给一帧上下文图像加一条 44 维动作流，服务每 12 个动作步回传 12 帧画面；人可以拿键盘或 Meta Quest 头显手动驱动，也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库，对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述，落地前仍需在自己的场景、动作空间和硬件上实测。
2026-10-24 · arXiv · 作者论文WorldFailBench：世界模型理解策略失败了吗？
给策略评估与部署工程的用处很直接：想在真机回归测试之前用世界模型筛策略，可以先用这三类任务检查"生成的失败诊断是否可信"，把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平，所以生成轨迹里的失败分布不能直接当作策略短板的证据；作者也指出，这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开（GitHub 仓库与 Hugging Face 数据集），可自行复跑；但本次材料只有该 arXiv v1 预印本本身，结论应视为作者自述结果。
2026-10-19 · arXiv · 作者论文PrismWAM：解耦世界动作模型中的状态表示
对机器人软件开发者，值得借鉴的是让目标理解与几何演变预测承担不同职责，并让动作生成读取深度演变特征，而非必须生成未来彩色画面。
2026-10-19 · arXiv · 作者论文Thinker-WM：面向具身智能、具有共享多模态表征的统一世界模型
为机器人软件开发提供一种统一预测与动作生成的模型接口设计，并用受控实验检验动作输入和深度交互是否发挥作用。
2026-10-19 · arXiv · 作者论文GRAIL：从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线；作者将其定位为遥操作和动作捕捉的补充，而非替代。
2026-10-19 · arXiv · 作者论文ICAT：基于事故案例的具身世界模型物理风险预测自适应测试
对将生成视频接入机器人规划或策略学习的团队，ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路，而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
2026-10-15 · arXiv · 作者论文LoopWAM：利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径：失败轨迹仍可监督物理后果学习，而不必直接模仿其动作。

展开其余 17 条历史观察

2026-10-13 · Hugging Face · 工程产物用含失败轨迹微调 Boundless 世界模型：RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体：世界模型（world model，即根据动作生成后续画面的模型）产出的视频一旦把失败画成成功，就不能拿来判断这一把有没有抓住；这份检查点显示，把失败轨迹喂回世界模型能明显压低这种「假成功」（留出片段上失败误读率由 0.825 降到 0.263，成功召回 0.964）。权重与基座同结构（同一 DiT 扩散变换器与动作编码器状态字典，仅推理权重），可直接替换 `step-12000.safetensors`，接入已有推理管线改动很小。接入时照卡片的推理契约即可：每窗 61 帧（1 初始帧 + 8 历史帧 + 52 未来帧），`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`，动作取 BWM 的 `eef_abs` 空间；卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用，需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
2026-10-12 · arXiv · 作者论文PINT：以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师，可直接借鉴的是接口层面的三点：把跨模块共享信息压成一段紧凑的意图表示；只替换视频生成模型的条件入口、保留其预训练生成机制；以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向，使延迟与同规模 Fast-WAM 接近（331 毫秒对 266 毫秒），本体实时性压力可控。
2026-10-10 · arXiv · 作者论文像世界模型一样思考，像VLA一样行动：将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径：通过训练期对齐改善紧凑策略，部署时不增加网络模块。
2026-10-09 · arXiv · 作者论文模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持，也表明ModAR在受测任务中可利用无动作人类示范改善表现；不据此推断通用操作能力。
2026-10-08 · arXiv · 作者论文Long-WAM：扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计，而非仅扩大记忆容量；不宜据此外推通用机器人能力。
2026-10-07 · arXiv · 作者论文世界模型的物理终极考试
将视觉连贯、任务可观测性与可测物理关系分开，为诊断视频模型的物理不一致提供可解释依据，而非通用具身能力认证。
2026-10-06 · arXiv · 作者论文多少规划才足够？减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开，为既有世界模型规划器提供部署侧优化路径，而非改进模型本身。
2026-10-04 · arXiv · 作者论文通过基于采样的扰动观测器应对仿真到现实的失配：从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口，针对局部持续、与任务相关的失配进行修正，而非完整辨识仿真到现实差距。
2026-10-02 · arXiv · 作者论文重新思考用于组合式与上下文机器人操作的世界—动作模型
作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口，并用目标图像在推理时引导已学行为的重新组合。
2026-10-02 · arXiv · 作者论文SkeleWAM：面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤，为紧凑世界—动作模型提供了一条可研究的路线。
2026-09-30 · arXiv · 作者论文SteerQuant：在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配，并用融合内核减少缩放开销，为世界—动作模型的低位宽推理提供一种方法。
2026-09-28 · arXiv · 作者论文修订，而非重启：面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示，视觉预测误差降低不必然带来任务成功率提高。
2026-09-11 · arXiv · 作者论文打破视觉—动作捷径：面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持，而非仅增加视觉表征信息；支持范围限于论文测试的架构与条件。
2026-09-10 · arXiv · 作者论文CAP：通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径，而非依靠想象轨迹优化策略。
2026-09-03 · arXiv · 作者论文更好的想象推演意味着更好的机器人控制吗？反馈条件下世界模型评估的受控研究
为反馈系统中的预测模型评测提供方法学提醒：离线协议应尽量匹配部署时的感知、状态校正与控制更新结构，不能只看无观测推演误差。
2026-09-02 · arXiv · 作者论文TrAct：以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口，为通过未来画面评价候选动作提供了一条技术路径。
2026-09-01 · arXiv · 作者论文以潜在动作为意图，使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线，并不意味着潜在动作预测在所有条件下都优于显式观测预测。

当前判断 · 2026-10-10 核查

历史观察

关联报告

来源与阅读