内容摘要
标准视觉—语言—动作(VLA)训练缺少显式建模动作如何改变环境的目标,而世界模型的未来生成又增加控制开销。作者提出将表征迁移与未来生成分离,让小型策略学习世界模型的内部特征,而不在部署时运行世界模型。
方法在常规动作训练中加入余弦特征对齐损失:冻结教师,提前提取并缓存训练画面的特征;学生通过投影器对齐缓存,训练时不加载教师权重,训练后丢弃投影器。主教师取自Cosmos 3的理解塔,部署策略与未蒸馏基线保持相同架构。
作者报告,0.8B学生在LIBERO的平均成功率达97.9%,比同规模未蒸馏基线高2.6个百分点;RoboCasa-GR1由48.2%升至50.5%。仿真主结果采用两种种子与两种GPU交叉的四次评测均值。真机单臂水果任务由83.3%升至93.3%,双臂水果交接由40.0%升至46.7%,每项每策略均测试30次。这些结果支持所测任务中的表征迁移收益,不等同于通用操作能力。
点评
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
证据为作者论文实验,不作独立复现结论。真机每项每策略仅30次试验;RoboCasa-GR1消融仅在A100上评测一次,层位置消融还缩短了训练周期。论文引用的其他模型成绩不宜据此作跨协议排名。
版本与核查范围
版本 2609.24682v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p3.1;#S3.SS2.p1.2;#S1.p4.1;#S3.SS3.p1.1;#S4.SS2.p1.1;#S4.SS3.p1.1;#S4.SS1.p5.1;#S4.T3.1;#S4.SS4.p4.1;#S4.SS4.p5.1;#S5.p1.1
