内容摘要
机器人操作时，既要预测动作后的画面，也要生成动作，并理解物体的空间关系。Thinker-WM针对这些功能常由不同模块衔接的问题，把彩色视频、具有实际距离尺度的深度图和机器人动作放进共享中间表征，共同预测其变化。对开发者而言，这提供了用同一模型做未来预测、动作生成和视频转动作的接口思路。
模型保留各类输入输出专用的编码器与解码器，核心由统一动态变换器共享参数处理。深度并非仅作辅助标签，而是参与生成；训练初期深度读取视觉与动作信息，到具有准确深度监督的目标机器人微调阶段，再开放双向信息交互。
作者报告，给同一模型输入真实动作序列并移除语言提示后，EWMBench生成总分由4.66升至5.03，支持动作条件确实影响预测。在RoboTwin仿真的开关任务中，双向交互配置的闭环成功率为75.0%，纯彩色视频配置为60.0%；结果汇总三个训练检查点，每个检查点测试20次。这是特定仿真任务的对照实验，不能视为真机部署效果。
点评
为机器人软件开发提供一种统一预测与动作生成的模型接口设计，并用受控实验检验动作输入和深度交互是否发挥作用。
证据来自作者论文，不是独立复现。闭环对照仅覆盖所述仿真开关任务；作者明确表示，作为真机闭环策略的有效性仍待验证。
版本与核查范围
版本 2610.18447v3 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 page:1；page:35；page:35；page:19；page:25；page:25；page:26；page:35