跳至正文
原文导读 · 原标题中译

SkeleWAM:面向高效机器人操作的骨架世界—动作建模

SkeleWAM: Skeleton World-Action Modeling for Efficient Robotic Manipulation

材料发布 2026-10-02 · arXiv · 作者论文 · 核查 2026-10-18
图2:SkeleWAM概览。冻结的视觉感知与正向运动学构建当前骨架;动作生成与未来骨架预测在共享当前骨架上下文下联合训练。推理阶段不输出未来骨架预测,由Medoid Action Consensus(MAC,中心动作共识)从采样动作块中选出具有代表性的动作块;机器人执行前H_e个动作后再进行观测与重规划。 图片出处

内容摘要

世界—动作模型联合学习动作生成与未来状态预测,但视频或视觉潜变量通常只隐式表达交互几何,还可能保留与控制无关的外观信息。作者提出SkeleWAM,以机器人关节、物体中心和交互点组成的稀疏三维骨架表示操作场景。

方法从当前RGB-D观测与机器人本体状态在线构建骨架;训练时联合学习动作生成和未来骨架预测,以几何监督替代视觉重建。推理时移除未来预测分支,直接根据当前骨架与语言指令生成动作;辅助策略MAC从独立采样轨迹中选择与其他候选平均距离最小的一条,而非平均轨迹,也不需要奖励模型。

作者在完整LIBERO-Plus上评测,不对评测变体微调。在基于观测的设置中,模型以约57.1M参数达到85.9%总体成功率,比论文所比较的Cosmos-Policy高3.7个百分点。移除未来骨架监督后,成功率降至80.1%。真机实验覆盖五项任务,每种方法每项测试20次,SkeleWAM的任务成功率非加权均值为89%。但布局扰动下成功率仅66.6%,低于π₀.₅的84.1%,表明稀疏几何尚未充分解决空间布局泛化。

点评

作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。

以上为作者论文评测,不能视为独立复现或通用操作能力证明;使用模拟器坐标的sim-state版本属于特权输入诊断参考,不应与观测输入结果混为一谈。

版本与核查范围

版本 2610.02120v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#S1.p3.1;#S4.SS1.SSS0.Px1.p1.1;#S1.p4.1;figcaption[70];#S4.SS4.SSS0.Px2.p1.1;#S4.SS3.SSS0.Px1.p1.1;#S4.SS3.SSS0.Px2.p1.1;#S4.SS2.SSS0.Px1.p2.1;#S1.p4.1