跳至正文
原文导读 · 原标题中译

机器人策略应该学习预测什么?重新思考视觉—语言—动作学习中的监督目标

What Should Robot Policies Learn to Predict? Rethinking Supervision Targets in Vision-Language-Action Learning

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 2:VLM–MMDiT 架构。动作专家与辅助预测专家(潜在动作 LA 或未来视觉 FV)通过联合自注意力交互,样本级路由选择生效的损失。未来观测仅用于辅助训练。 图片出处
图 3:完整样本预算下的监督分配。单元格显示 LIBERO 成功率(%)与 CALVIN 平均任务链长度;同一基准内颜色越深代表数值越高,黑框标出各模型的最佳分配。 图片出处

内容摘要

这篇作者论文研究:在固定训练样本预算下,将更多样本分配给潜在动作(LA)或未来视觉(FV)预测,能否比继续增加直接动作监督更有效。作者构建双流多模态扩散 Transformer 与样本级路由器,每个样本只承担动作或一种辅助预测损失,并比较三种 LA 和三种 FV 目标。在 LIBERO、CALVIN 及四项真机操作任务中,合适的辅助监督配置可在直接动作预测仅占一半或更少样本时超过纯动作训练。

CALVIN 上,V-JEPA 2 的 P25 配置将预期 75% 的样本用于 FV 预测,平均任务链长度为 4.522,同源 P100 对照为 4.091。真机实验每项任务测试 20 次,采用允许部分得分的完成度评分;P50 下,三种 FV 配置在四项任务上均高于所有 LA 配置及纯动作基线。但收益并不普遍:LIBERO 中所有测试的 P25 配置均低于各自 P100 对照。

作者据此主张联合设计预测目标与监督分配,而非默认让直接动作预测占主导;这里的预算匹配仅指样本使用次数,不代表计算量或训练耗时相同。

点评

将“预测什么”与“如何分配监督”变为可控的训练设计变量;同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。

结果属于作者论文实验。FV 辅助样本仍以示范动作作为条件,不能理解为同比减少动作标签使用;最优分配依赖目标、基准与预算,跨配置比较不能仅归因于路由。

版本与核查范围

版本 2610.21915v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#S1.p3.1;#S3.SS3.SSS0.Px3.p1.1;#S1.p4.1;#S4.SS2.p2.1;#S4.SS3.p3.1;#S4.SS2.p3.1;#S3.SS1.SSS0.Px1.p1.2;#S5.p1.1;#S5.p1.1;#A1.SS2.SSS0.Px8.p1.1;#A1.SS2.SSS0.Px8.p1.1