跳至正文
原文导读 · 原标题中译

像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中

Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies

材料发布 2026-10-10 · arXiv · 作者论文 · 核查 2026-10-18
图 2:方法总体框架。左:冻结的教师世界模型(world model)特征提取流程。右:学生 VLA(视觉-语言-动作模型)的训练流程。 图片出处

内容摘要

标准视觉—语言—动作(VLA)训练缺少显式建模动作如何改变环境的目标,而世界模型的未来生成又增加控制开销。作者提出将表征迁移与未来生成分离,让小型策略学习世界模型的内部特征,而不在部署时运行世界模型。

方法在常规动作训练中加入余弦特征对齐损失:冻结教师,提前提取并缓存训练画面的特征;学生通过投影器对齐缓存,训练时不加载教师权重,训练后丢弃投影器。主教师取自Cosmos 3的理解塔,部署策略与未蒸馏基线保持相同架构。

作者报告,0.8B学生在LIBERO的平均成功率达97.9%,比同规模未蒸馏基线高2.6个百分点;RoboCasa-GR1由48.2%升至50.5%。仿真主结果采用两种种子与两种GPU交叉的四次评测均值。真机单臂水果任务由83.3%升至93.3%,双臂水果交接由40.0%升至46.7%,每项每策略均测试30次。这些结果支持所测任务中的表征迁移收益,不等同于通用操作能力。

点评

这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。

证据为作者论文实验,不作独立复现结论。真机每项每策略仅30次试验;RoboCasa-GR1消融仅在A100上评测一次,层位置消融还缩短了训练周期。论文引用的其他模型成绩不宜据此作跨协议排名。

版本与核查范围

版本 2609.24682v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S1.p3.1;#S3.SS2.p1.2;#S1.p4.1;#S3.SS3.p1.1;#S4.SS2.p1.1;#S4.SS3.p1.1;#S4.SS1.p5.1;#S4.T3.1;#S4.SS4.p4.1;#S4.SS4.p5.1;#S5.p1.1