训练方法应按不同维度理解,避免把模型架构、训练信号和参数技巧并列成互斥路线。
| 维度 | 主要选择 | 关键问题 |
|---|---|---|
| 阶段 | 预训练、任务适配、部署后改进 | 能力基础从哪里来,新增经验改变什么? |
| 学习信号 | 模仿/监督、自监督、强化学习 | 示范、预测目标和任务奖励如何结合? |
| 参数更新 | 全量微调、LoRA 等参数高效适配 | 资源、稳定性和能力遗忘怎样取舍? |
| 能力压缩 | 蒸馏及后续推理优化 | 资源降低后,闭环任务能力保留多少? |
当前重点
强化学习 已有从仿真运动控制到真机操作、VLA 经验学习的公开样本,核查截至 2026-10-10。重点比较“示范预训练 + 后续经验”如何组合,而不是预设 RL 替代所有模仿学习。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- SimPT:用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者,价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程;真机验证的是由此开发的训练改进,而非自动恢复机制直接部署到真机。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- 弗雷歇强制:用短片段训练长时域流式世界模型
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- 面向长时域越野导航的可通行性学习
这项作者研究展示了用驾驶轨迹与地形先验学习全局导航地图的路线,将远域地理信息与近域实时避障分工衔接;其评测反映与人类驾驶实践的一致性,而非路径最优性的证明。
展开其余 31 条历史观察
- DemoStream:面向自动化示范学习的批量任务与运动规划优化
作者实验强调:规划能完成任务不等于其示范适合模仿学习,示范优化应关注下游策略效果。
- 机器人策略应该学习预测什么?重新思考视觉—语言—动作学习中的监督目标
将“预测什么”与“如何分配监督”变为可控的训练设计变量;同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- 世界建模与动作建模能否在统一因果训练下相互受益?
作者的受控比较支持:在所测因果架构与任务中,显式学习动作的视觉后果与学习生成动作可提供互补监督,而不只是单向利用视频预测辅助策略。
- EgoJEPA:超越重定向,从第一视角视频学习灵巧操作
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线;作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- TartanMatch:迈向跨模态通用稠密对应
该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。
- 像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- 一种用于协作机器人运动生成的物理信息碰撞学习框架
为固定工作单元中的双臂规划提供可微的实体间距信号,并展示了边界监督与闭环控制结合的路径。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型
该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。
- DiVeR:面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示,VLA测试时扩展不仅取决于增加候选数量,也取决于让验证器重点学习动作差异真正影响结果的状态。
- 测试时训练作为机器人策略的残差记忆
这项作者研究支持一种互补记忆设计:快权重重点学习已有上下文解释不了的历史,而非简单叠加两种记忆机制。
- ResCue:用于语言条件模仿学习的残差空间提示
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- Guava:通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示,共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径;能力来自模型与工具系统的组合。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- 通过流匹配中的条件退火重新思考因果动作词元化
该工作将动作词元的生成阶段结构与自回归预测目标对齐,为动作离散化提供了不只追求压缩与重建的设计方向。
- 利用视觉—语言—动作模型学习在视觉中断下行动
将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。
- 时间强制:面向视觉—语言—动作模型的四维表征对齐
这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来,为历史感知VLA提供了训练期表征监督路径,而非仅扩展输入历史。
- 估计,而非模仿:复用可微分的基于状态的策略实现视觉运动控制
作者实验支持将感知学习与既有控制器复用分开:状态估计不仅要接近真值,也可按其对下游动作的影响优化;收益及损失权重仍依赖任务。
- 机器人学习中的潜在动作,什么最重要?
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
- 打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- π*0.6 / RECAP · 2026-10-10 核查公开材料;未运行复现。
- RLinf 官方仓库 · 2026-10-10 核查公开材料;未运行复现。
