跳至正文
原文导读 · 原标题中译

机器人学习中的潜在动作,什么最重要?

What Matters for Latent Actions in Robot Learning

材料发布 2026-09-26 · arXiv · 作者论文 · 核查 2026-10-19
图 1:潜在动作学习在三个维度上的设计选择总览。设计 I 通过比较隐式的 IDM-FDM 框架与显式的 CFD-AE 框架,考察潜在动作建模范式的影响。设计 II 研究不同的正则化方法及其正则化强度如何塑造潜在动作表征并影响下游策略学习。设计 III 评估潜在动作归一化的必要性,并考察将潜在动作整合到物理动作预测中的不同策略。阶段 I 在仅含图像帧的无标注视频数据上训练,阶段 II 使用与潜在动作配对的带标注视频数据,阶段 III 使用与物理动作配对的机器人动作数据。三项设计研究及三阶段训练流程的更多细节分别见第 2 节与附录 B.2。 图片出处
图 7:真实世界实验。左面板展示 Franka Panda 平台上的四个任务。右面板绘制 20 次试验中的成功次数随阶段 III 训练步数的变化;蓝色圆圈与红色方块分别表示 OpenVLA-OFT 与 OpenVLA-OFT(LA-Tuned)。 图片出处

内容摘要

潜在动作模型可从无动作标注视频中学习物理动作的紧凑替代表征,但既有方法的实验设置不一致,难以判断哪些设计真正影响操作表现。作者将代表性方法纳入统一自编码框架,在LIBERO、LIBERO-Plus和RoboTwin2.0上考察41项设计选择,覆盖建模范式、学习目标与正则化、动作接入策略。

研究采用三阶段训练:先从连续帧学习潜在动作,再用其微调视觉语言模型骨干,最后利用机器人动作数据训练策略。作者发现,直接使用原始数据训练的LAPO仍是强基线;未来帧重建指标比动作解码探针更稳定地反映下游表现,但仅适合粗筛,不能替代任务评测。

真机实验在Franka Panda的四项桌面任务上比较原始与潜在动作微调后的OpenVLA-OFT。汇总五个训练检查点,成功次数由259/400增至317/400,成功率从64.75%升至79.25%,提高14.5个百分点;这不是单一最终检查点的成绩。

两组真机模型使用相同的200条示范和下游训练配置,仅骨干参数不同,视觉输入均为单个前视RGB相机。上述结果属于作者论文中的实验报告。

点评

为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。

代理指标不宜用于精细排名,跨潜在维度比较时相关性还会下降;向灵巧手、四足和人形平台推广仍列为未来工作。

版本与核查范围

版本 2608.19613v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S1.p3.1;#S2.SS0.SSS0.Px1.p1.1;#S1.p4.1;#S3.SS5.p4.1;#S3.SS5.p3.1;#S3.SS7.SSS0.Px1.p2.1;#A3.SS8.SSS0.Px1.p1.1;#A3.SS8.SSS0.Px1.p1.1;#A3.SS8.SSS0.Px1.p1.1;#S4.p1.1