内容摘要
机器人动作依赖具体本体，其视觉效果又受场景几何、物体状态与接触动力学影响，难以直接为未来画面提供充分约束。作者提出TrAct，以二维点轨迹作为控制与预测的中间接口，让世界模型依据图像空间中的运动预测后果，而非仅依赖机器人动作。
框架由三个模块协作：VLAT根据当前观测和语言指令联合生成候选动作及对应轨迹；轨迹条件世界模型TWM预测各候选的未来视频；视觉语言奖励模型VLAC按指令评分，机器人执行最高分预测所配对的动作。
作者报告，相比π₀.₅，TrAct在自建LIBERO-INTEGRAL上的成功率从27%升至55%，在Franka Panda真机任务上从49%升至76%；相比动作条件世界模型辅助选择，成功率分别从49%升至55%、66%升至76%。
这些结果有明确条件：LIBERO-INTEGRAL包含20项鲁棒性与跨本体任务；真机测试覆盖五项训练未见任务，各设训练背景与不同背景。推理时，仿真与真机分别生成20和16个候选，再进行预测与筛选。
点评
作者实验支持将视觉轨迹作为策略与世界模型的共享接口，为通过未来画面评价候选动作提供了一条技术路径。
结论限于作者所设基准与真机任务，不外推通用操作能力，也不视为独立复现。主文仿真结果使用单个评测种子；附录另对TrAct与VLAT+AWM开展了三种子评测。
版本与核查范围
版本 2608.24101v3 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1；#S1.I1.i1.p1.1；#S1.p2.1；#S1.p3.1；#S4.SS1.p1.1；#S5.SS1.p2.1；#A3.p1.1；#A6.SS3.SSS0.Px1.p1.1