内容摘要
作者提出世界—动作模型ModAR，逐一去噪未来模态，以此前完成的预测为上下文，最后生成动作；无动作标签样本仅监督可用的未来目标。模型采用共享扩散Transformer与模态专属专家，按点轨迹、DINO特征、深度、RGB的顺序生成，训练时加入上下文噪声以缓解级联误差。作者实验中，点轨迹、DINO与深度平均提供互补收益，额外预测RGB无稳定增益。
RoboTwin仿真覆盖六项任务，每项固定50条带动作标签示范，在50个留出初始条件上评估。每项加入1,200条无动作示范后，ModAR平均成功率由66%升至76%，在各受测数据规模下均为受控比较方案中最高。
真机覆盖三项双臂任务，每项每种方法及数据混合测试30次。每项从100条机器人示范起，依次加入200条域内无动作人类示范、1,000条域外EgoDex示范，ModAR平均成功率由70.0%升至81.1%、83.3%。上述结果属于作者实验；任务有限且使用离散任务标签，不构成广泛泛化证据。
点评
作者实验为先生成结构化未来、再生成动作的设计提供了支持，也表明ModAR在受测任务中可利用无动作人类示范改善表现；不据此推断通用操作能力。
实验使用离散任务标签而非语言指令，尚未建立跨任务、物体或场景的广泛泛化证据；顺序生成相较同时生成或仅生成动作增加推理延迟。仿真实现报告在每项50个留出初始条件上的最佳检查点成功率。
版本与核查范围
版本 2609.17524v2 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #S3.SS2.p1.1；#S3.SS2.p1.2；#S3.SS2.p3.1；#S3.SS2.p4.1；#S3.SS2.p6.1；#S5.p1.1；#S4.SS1.p1.1；#S4.SS1.p3.1；#S4.SS2.p2.1；#S4.SS2.p4.1；#S4.SS1.p2.1；figcaption[55]