跳至正文
原文导读 · 原标题中译

重新思考用于组合式与上下文机器人操作的世界—动作模型

Rethinking World-Action Model for Compositional and In-Context Robotic Manipulation

材料发布 2026-10-02 · arXiv · 作者论文 · 核查 2026-10-18
图2:ViGAR 的模型架构:(1) 子目标规划器 𝒢_θ 根据任务指令与当前观测生成下一幅子目标图像,并可选地以全局目标图像为条件,以支持上下文学习(ICL,in-context learning,即不更新模型参数、仅依据上下文中的示例完成任务);(2) 策略 π_φ^WAM 接收预测出的子目标,并联合预测未来帧与动作块(action chunk,一段连续执行的动作序列)。 图片出处

内容摘要

长时程组合操作需要协调多个子任务。论文作者指出,现有世界—动作模型虽联合预测短期视觉未来与动作,却通常缺少显式的子任务级推理,并提出视觉目标条件动作推理框架ViGAR。

ViGAR将操作拆成视觉子目标规划与子目标执行:规划器依据当前观测和全局指令预测下一子任务的目标图像,执行器据此联合生成未来视觉轨迹与动作;两者从同一预训练世界模型初始化。全局目标图像还可作为上下文,在不更新参数的情况下引导不同的任务分解。

作者报告,在RoboTwin Clean2Random上,ViGAR在Clean与Random设置下的成功率分别为82.00%与67.02%,平均成功率较所比较的最强基线高12.86个百分点。该评测中,策略仅使用2500条Clean专家示范训练,各任务在两种条件下分别测试100次。

真机部分涵盖五项组合操作和两项上下文学习任务。后者在域内与分布外目标下的平均任务进度分别为77.5%和47.5%;这是任务进度指标,不是整项任务成功率,不能与仿真成功率直接排名。

点评

作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口,并用目标图像在推理时引导已学行为的重新组合。

证据为作者论文实验,不代表独立复现。真机组合操作每项测试20次,且并非每项均优于基线:桌面清理任务的进度得分低于π₀.₅;不宜外推为通用操作能力。

版本与核查范围

版本 2610.02368v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 h1[2];#abstract1.1;#abstract1.1;#abstract1.1;#S4.p2.1;#abstract1.1;#abstract1.1;#S5.SS2.p1.1;#abstract1.1;#S5.SS4.p4.1;#A3.E5;#A3.SS3.p3.2