内容摘要
世界模型（预测给定动作后未来观测的生成式模型）正被用作机器人的策略评估器：让策略先在生成出来的环境里闭环跑一遍，再决定要不要上真机。但已有基准大多只比对结果，即策略在模型里是成功还是失败。结果一致不等于失败过程一致——参考执行抓衣物时把布掉了，生成的轨迹却去抓篮子，两者都算失败，这种错配会把"执行动作有问题"误诊成"任务规划有问题"，让改进方向指向错误的模块。
作者提出 WorldFailBench，把评估拆成三类：失败原因（复现可观察的错误类型，区分任务规划失败与动作执行失败）、失败阶段（失败是否集中在同一执行阶段）、失败边界（受控改动场景后能否复现从成功到失败的条件）。基准覆盖 LIBERO 单臂仿真（10 任务）、RoboTwin 双臂仿真（20 任务）与 G1 人形真机（2 任务），每个任务–策略组合采 50 条参考轨迹。
在 RoboTwin 上评测的七个世界模型（Ctrl-World、Cosmos-Predict-2.5、BWM、DreamDojo、GE-Sim 2.0、A2World、DW05）对规划与执行失败频率的平均绝对误差为 15.9–33.5 个百分点；成功率相关性最高的 DW05，阶段相关只有 0.052，七个模型的阶段相关落在 −0.123 至 0.095，而参考环境重复跑（Ref–Ref）的基线是 0.903。60 组边界配对中 95.2% 的模型响应低估参考成功率变化幅度；位置、朝向、尺寸三类改动下最好的方向判断率也只有 68.5%、59.0%、75.8%。
点评
给策略评估与部署工程的用处很直接：想在真机回归测试之前用世界模型筛策略，可以先用这三类任务检查"生成的失败诊断是否可信"，把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平，所以生成轨迹里的失败分布不能直接当作策略短板的证据；作者也指出，这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开（GitHub 仓库与 Hugging Face 数据集），可自行复跑；但本次材料只有该 arXiv v1 预印本本身，结论应视为作者自述结果。
作者自述：评估只覆盖有限的策略、任务与边界条件；结果刻画的是含适配器与推理调度的完整世界模型系统，无法归因到单一架构；失败标签只描述可观察行为，不判定策略内部的因果原因。95.2% 这一比例来自 420 次共享配对的模型–配对比较，作者标注为描述性、非独立样本。主结果集中在 RoboTwin 仿真，LIBERO 与 G1 真机结果放在附录；G1 真机只有两个操作任务、六个世界模型，参考轨迹合计 400 条，远少于 RoboTwin 的 5,000 条。本次材料为 arXiv v1 预印本，不含第三方独立复现或厂商公告。
版本与核查范围
版本 2610.33565v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1；#S1.p3.1；#S3.SS2.SSS1.p2.1；#S3.T2.5；#S4.SS1.SSS0.Px1.p1.1；#S1.p5.1；#S4.SS3.p2.1；#S4.SS4.p2.1；figcaption[278]；#S5.p2.1；#S4.SS4.p3.1；#p1.2