跳至正文
原文导读 · 原标题中译

PrismWAM:解耦世界动作模型中的状态表示

PrismWAM: Decoupling State Representations in World Action Models

材料发布 2026-10-19 · arXiv · 作者论文 · 核查 2026-10-23
图 1:PrismWAM 将语义规划与物理演变预测分开。左侧:彩色图像分支用单张预期未来画面的稀疏监督学习任务语义,深度分支与动作一起预测连续几何轨迹。右侧:链式注意力把观测图像特征传给深度分支,再把物理演变特征传给动作分支。 图片出处
图 5:真机评估。左侧为训练分布内轨迹,右侧为有代表性的分布外场景,下方比较 OpenWAM 与 PrismWAM 在三项任务上的成功率。 图片出处

内容摘要

机器人双臂搬盘子、按大小排列方块时,既要理解目标,也要预测物体位置如何变化。作者提出PrismWAM,针对世界动作模型(WAM)把颜色、纹理与几何、姿态混在同一表示中的问题,将语义规划、物理演变预测与动作生成分开,为操作策略开发提供一种组织视觉与控制信息的方法。

训练时,彩色图像分支学习预测目标画面,深度分支预测中间几何变化,动作分支据此生成控制指令。推理时不生成未来彩色图像,也不必把深度特征解码成图像;模型执行部分动作后,再依据新观测重新规划。方法正文明确输入包括彩色图像历史、当前深度、语言指令和机器人自身状态,并非仅靠单张彩色图像。

作者在搬盘子、方块排序和开微波炉三项真机任务中,与OpenWAM使用相同示范数据训练。改变灯光、干扰物及物体外观或摆放的测试中,PrismWAM合并成功率为68.6%(24/35),OpenWAM为48.6%(17/35)。这是有限任务和试验次数下的作者结果;原始场景的微波炉任务仍是OpenWAM表现更好,不能据此推断全面领先。

点评

对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。

证据为作者论文实验,不是独立复现。该方法需要当前深度输入;同步深度真机数据的规模仍受限,真机结论仅覆盖三项任务。

版本与核查范围

版本 2610.26564v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 h1[1];#abstract1.1;#S1.p4.1;#S3.SS2.SSS0.Px1.p1.1;#S3.SS2.SSS0.Px4.p1.1;#S3.SS2.SSS0.Px1.p2.1;#abstract1.1;#S4.SS4.SSS0.Px1.p1.1;#A1.SS5.p1.1;#S4.T4.4;#S4.SS4.SSS0.Px1.p2.1;#S4.p1.1