内容摘要
机器人双臂搬盘子、按大小排列方块时,既要理解目标,也要预测物体位置如何变化。作者提出PrismWAM,针对世界动作模型(WAM)把颜色、纹理与几何、姿态混在同一表示中的问题,将语义规划、物理演变预测与动作生成分开,为操作策略开发提供一种组织视觉与控制信息的方法。
训练时,彩色图像分支学习预测目标画面,深度分支预测中间几何变化,动作分支据此生成控制指令。推理时不生成未来彩色图像,也不必把深度特征解码成图像;模型执行部分动作后,再依据新观测重新规划。方法正文明确输入包括彩色图像历史、当前深度、语言指令和机器人自身状态,并非仅靠单张彩色图像。
作者在搬盘子、方块排序和开微波炉三项真机任务中,与OpenWAM使用相同示范数据训练。改变灯光、干扰物及物体外观或摆放的测试中,PrismWAM合并成功率为68.6%(24/35),OpenWAM为48.6%(17/35)。这是有限任务和试验次数下的作者结果;原始场景的微波炉任务仍是OpenWAM表现更好,不能据此推断全面领先。
点评
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
证据为作者论文实验,不是独立复现。该方法需要当前深度输入;同步深度真机数据的规模仍受限,真机结论仅覆盖三项任务。
版本与核查范围
版本 2610.26564v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 h1[1];#abstract1.1;#S1.p4.1;#S3.SS2.SSS0.Px1.p1.1;#S3.SS2.SSS0.Px4.p1.1;#S3.SS2.SSS0.Px1.p2.1;#abstract1.1;#S4.SS4.SSS0.Px1.p1.1;#A1.SS5.p1.1;#S4.T4.4;#S4.SS4.SSS0.Px1.p2.1;#S4.p1.1
