内容摘要
潜在动作模型可从无动作标注视频中学习物理动作的紧凑替代表征,但既有方法的实验设置不一致,难以判断哪些设计真正影响操作表现。作者将代表性方法纳入统一自编码框架,在LIBERO、LIBERO-Plus和RoboTwin2.0上考察41项设计选择,覆盖建模范式、学习目标与正则化、动作接入策略。
研究采用三阶段训练:先从连续帧学习潜在动作,再用其微调视觉语言模型骨干,最后利用机器人动作数据训练策略。作者发现,直接使用原始数据训练的LAPO仍是强基线;未来帧重建指标比动作解码探针更稳定地反映下游表现,但仅适合粗筛,不能替代任务评测。
真机实验在Franka Panda的四项桌面任务上比较原始与潜在动作微调后的OpenVLA-OFT。汇总五个训练检查点,成功次数由259/400增至317/400,成功率从64.75%升至79.25%,提高14.5个百分点;这不是单一最终检查点的成绩。
两组真机模型使用相同的200条示范和下游训练配置,仅骨干参数不同,视觉输入均为单个前视RGB相机。上述结果属于作者论文中的实验报告。
点评
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
代理指标不宜用于精细排名,跨潜在维度比较时相关性还会下降;向灵巧手、四足和人形平台推广仍列为未来工作。
版本与核查范围
版本 2608.19613v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S1.p3.1;#S2.SS0.SSS0.Px1.p1.1;#S1.p4.1;#S3.SS5.p4.1;#S3.SS5.p3.1;#S3.SS7.SSS0.Px1.p2.1;#A3.SS8.SSS0.Px1.p1.1;#A3.SS8.SSS0.Px1.p1.1;#A3.SS8.SSS0.Px1.p1.1;#S4.p1.1
