VLA｜具身图谱

VLA 将视觉、语言及本体状态映射为动作。它规定模型的输入输出，RL 规定学习方法，分层规定系统接口；三者可以组合。

主要路线

路线	动作与训练接口	比较重点
自回归动作 token	逐 token 预测，经 codec 解码为控制量	概率可计算、推理顺序与动作精度
连续动作头	扩散/流匹配生成 action chunk	去噪步数、chunk 长度与重规划速度
推理—动作组合	子目标文本、运动 token 或技能连接模块	上层失误、观测陈旧与控制约束

当前判断 · 2026-10-10 核查

RLinf-VLA v3（08-12 修订）支持仿真 RL 提升指定基准表现，但真机关抽屉对照两组均 8/10 成功，作者报告动作效率改善。仿真成功、训练加速和真机成功不能互换。依据与边界

G0.5 v1（08-12 首发）将推理与动作合入自回归序列；四项 LIBERO 低数据 GRPO 对照支持该设置下的优势，不能证明此路线普遍优于 flow。长任务 probe 还使用运行时分阶段子目标。依据与边界

公开代码、模型权重、完整训练数据和独立复现是不同状态。跨模型比较先对齐任务划分、本体、示范与接管预算、成功定义，再看分数；主要缺口是同协议外部真机复测及总人工成本。

深入：分层与组合 · 强化学习 · 能力评测。

历史观察

按发布时点排列，反映本站已收录范围，不代表完整研究时间线。

2026-10-27 · arXiv · 作者论文从 12 条到 200 条示范：ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据：示范只有几十条时优先微调预训练策略，且要训练动作专家而不是 LoRA；数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型；遥操作演示开头若有一段静止，务必剪掉再训；评测时记住同一权重重复测十回合平均会差 2.0 次成功，别用十回合给两个模型下结论。
2026-10-25 · arXiv · 作者论文RoboDuo：通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师，RoboDuo 是一条“不动现有策略权重”的补救路线：把“尝试—判定—恢复”写成一段程序，让长程任务在一次滑落后仍可由原子技能收尾，而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型，且原子指令必须落在演示数据已有的技能段内，因此这套数据资产与演示绑定；能回收多少，取决于基础策略原本已经会多少——论文也明确指出，它无法恢复两个策略都不会的技能，收益上限受完成检查准确率约束。
2026-10-21 · arXiv · 作者论文GeoMem-VLA：把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师，可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构：几何在训练期由冻结教师教成 token，部署期只作为回合记忆被检索，推理链路里无需挂载 3D 模型与几何解码头，但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比，只能当参考；真正指向两个模块价值的是同协议消融：LIBERO 上两项差距都不大，RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
2026-10-21 · arXiv · 作者论文FlowVLA：学习流动感知的物理完成状态，用于机器人定量倾倒
对控制软件开发的启示是：可将“怎么动”与“倒够没有”分开建模，并把回正后仍会流出的液体计入停止条件；这是作者实验支持的设计思路，不是通用部署能力证明。
2026-10-21 · arXiv · 作者论文超越外观变化：为 VLA 模型做任务语义动作校准（Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models）
对做机器人本体软件的开发者，可借鉴的是接入方式而不是网络结构：校准层作为可插拔组件挂在共享 VLA 的动作输出上，骨干权重不动，训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可，推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是：目标或约束真变时，先让策略“不再按旧任务继续跑”，再谈改对，这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控，可用于设计回退与监控策略；但它需要再查一次冻结策略，端到端延迟接近 1 秒，按其量级更适合作低频或早期修正，不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验，本次材料未见独立复现。
2026-10-21 · arXiv · 作者论文λ₀：规模化开放世界第一视角人类数据，用于人形机器人移动操作
对数据与控制软件开发者，这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线：先离线对齐，再训练策略，而非直接回放人体轨迹。
2026-10-21 · arXiv · 作者论文SimPT：用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者，价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程；真机验证的是由此开发的训练改进，而非自动恢复机制直接部署到真机。
2026-10-21 · Hugging Face · 官方声明NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43（训练种子 43）：标准场景 93.3%，扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估，做成了可下载、可对照的公开权重：机器人本体软件工程师可直接加载这条 LIBERO-10（10 任务的操作基准）策略，在同一批初始状态上比较标准与扰动场景的成功率，并按模型卡要求配上重复样本对照，判断自己的数据流程里是否值得引入合成数据。复现成本也被写明：数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物，按 NVIDIA 开放模型许可证发布。

展开其余 40 条历史观察

2026-10-16 · arXiv · 作者论文OxyGen：多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者，价值在于复用共享观测的计算，并让辅助语言任务跨控制周期推进；作者已基于openpi实现JAX和PyTorch后端。
2026-10-16 · arXiv · 作者论文LIBERO-PeRM：个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件，有助于定位个性化操作的失败模式，而非仅依据任务成功率判断能力。
2026-10-16 · arXiv · 作者论文Spark-0：面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督，而不只是部署时的额外输入；无触觉部署的 Ego Humanoid 结果是关键证据。
2026-10-16 · arXiv · 作者论文Mem4Act：为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习，为长时程控制提供固定长度的策略输入接口；但固定接口不等于历史处理成本固定。
2026-10-15 · arXiv · 作者论文机器人策略应该学习预测什么？重新思考视觉—语言—动作学习中的监督目标
将“预测什么”与“如何分配监督”变为可控的训练设计变量；同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。
2026-10-15 · Hugging Face · 工程产物FineART：双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐，为子任务预测与低层动作执行相结合的训练提供数据基础；这是发布方描述的训练用途，不等于已经证明通用能力提升。
2026-10-15 · arXiv · 作者论文超越单轴测试：视觉—语言—动作策略复合鲁棒性的配对评估
为鲁棒性评测提供更细的诊断方式：在已有配对单轴测试上增加一个匹配的同时扰动条件，揭示总体成功率可能掩盖的双向结果变化。
2026-10-15 · arXiv · 作者论文面向自适应 VLA 动作块执行的策略对齐预测验证
将未来预测用于判断已有动作提案可以执行多远，而不是生成新动作，为既有 VLA 的执行长度选择提供另一条路径。
2026-10-15 · arXiv · 作者论文Fast-VLA：机器人操作只需思考一次
论文提供了一种推理优化路径：固定任务上下文不等于开环执行，在线执行器仍利用实时视觉与本体感觉反馈更新动作。
2026-10-15 · arXiv · 作者论文重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号，而非强制的推理期文本前缀；其价值取决于监督是否可靠、是否与动作学习有效耦合。
2026-10-15 · arXiv · 作者论文VLA 真的遵循指令吗？诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估；SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果，不作为独立复现结论。
2026-10-15 · arXiv · 作者论文KODA：面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离，为固定机器人数据补充条件覆盖；跨控制器复用证据限于所测试的 SONIC 与 HEFT。
2026-10-15 · arXiv · 作者论文多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径，使可解释性分析与特定行为修改相连接。
2026-10-12 · arXiv · 作者论文PINT：以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师，可直接借鉴的是接口层面的三点：把跨模块共享信息压成一段紧凑的意图表示；只替换视频生成模型的条件入口、保留其预训练生成机制；以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向，使延迟与同规模 Fast-WAM 接近（331 毫秒对 266 毫秒），本体实时性压力可控。
2026-10-10 · arXiv · 作者论文无需更新策略的基于流的策略适配
提供一种把任务理解留给底层智能体、以目标无关专家先验选择性修正执行动作的适配路径。
2026-10-10 · arXiv · 作者论文像世界模型一样思考，像VLA一样行动：将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径：通过训练期对齐改善紧凑策略，部署时不增加网络模块。
2026-10-09 · arXiv · 作者论文TaskAnchor：为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合，用于改善预训练VLA的历史依赖动作选择，而非另设规划循环。
2026-10-09 · arXiv · 作者论文ARC：面向机器人基础模型的推理配方
对机器人本体软件工程师，这是一条不靠堆数据的改造路径：不重新采数据、不重训基础模型，用自动生成的因果轨迹改造已有策略，改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
2026-10-08 · arXiv · 作者论文HIL-UMI：将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦，为跨操作者、跨地点扩展采集提供路径，而非已经验证分布式训练。
2026-10-08 · arXiv · 作者论文EagleVLA：通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合，为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
2026-10-07 · arXiv · 作者论文成功的多种路径：面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标，为改善所测分布偏移下的VLA泛化提供了一种训练思路；这里呈现的是作者实验结果，而非独立研究复现。
2026-10-05 · arXiv · 作者论文条件轨迹峰：面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
2026-10-04 · arXiv · 作者论文DiVeR：面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示，VLA测试时扩展不仅取决于增加候选数量，也取决于让验证器重点学习动作差异真正影响结果的状态。
2026-10-04 · arXiv · 作者论文测试时训练作为机器人策略的残差记忆
这项作者研究支持一种互补记忆设计：快权重重点学习已有上下文解释不了的历史，而非简单叠加两种记忆机制。
2026-10-02 · arXiv · 作者论文TimelyDAgger：用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题，而不只追求失败检测准确性，为相同专家动作预算下改善策略学习提供了方法与评测思路。
2026-09-29 · arXiv · 作者论文RawVLA：面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量，提供了不更新VLA策略、转而优化视觉前端的技术路径。
2026-09-28 · arXiv · 作者论文通过流匹配中的条件退火重新思考因果动作词元化
该工作将动作词元的生成阶段结构与自回归预测目标对齐，为动作离散化提供了不只追求压缩与重建的设计方向。
2026-09-28 · arXiv · 作者论文利用视觉—语言—动作模型学习在视觉中断下行动
将摄像头完全停止供帧与可用图像的内容扰动区分开，并把预测失效后的缺失输入控制作为回退路径，为研究视觉断流下的闭环可靠性提供评测与方法设计。
2026-09-28 · arXiv · 作者论文时间强制：面向视觉—语言—动作模型的四维表征对齐
这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来，为历史感知VLA提供了训练期表征监督路径，而非仅扩展输入历史。
2026-09-28 · arXiv · 作者论文自然状态预测的准确性可能掩盖VLA读出器在受控条件下的响应不足
研究支持联合评估自然准确性、受控响应和情境稳定性，而不把状态可解码直接等同于忠实响应或任务成功。
2026-09-26 · arXiv · 作者论文机器人学习中的潜在动作，什么最重要？
为利用视频初始化机器人策略提供了设计与筛选依据：潜在动作微调值得验证，但模型选择仍应回到下游任务表现。
2026-09-25 · arXiv · 作者论文Causeway：恢复VLA策略在指令切换中的任务可达性
该工作展示了通过推理时干预恢复既有任务能力可达性的路径，而非让VLA学会新任务。
2026-09-23 · arXiv · 作者论文InfiNoVA：面向视角不变机器人策略的无限新视角增强
提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。
2026-09-22 · arXiv · 作者论文VLAQuantBench：视觉—语言—动作模型训练后量化的闭环评测
研究支持将层范围、数值格式与校准配方联合做闭环验证，而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录，为后续比较提供工程基础。
2026-09-21 · arXiv · 作者论文CARE：面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计，为VLA失败恢复提供了可分别检验的数据与执行机制。
2026-09-20 · arXiv · 作者论文CompVLA：面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出，为连接多模态策略和底层接触控制提供了一条具体路线。
2026-09-18 · arXiv · 作者论文从预训练到熟练掌握：以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径；改进仍以完整任务执行评估，而非只看孤立子任务。
2026-09-11 · arXiv · 作者论文打破视觉—动作捷径：面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持，而非仅增加视觉表征信息；支持范围限于论文测试的架构与条件。
2026-09-07 · arXiv · 作者论文ICI-VLA：面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿
作者实验支持将时空对齐示范作为固定策略的测试时适配输入；消融中，移除掩码、DTW或语义筛选均降低成功率。
2026-09-02 · arXiv · 作者论文TrAct：以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口，为通过未来画面评价候选动作提供了一条技术路径。

主要路线

当前判断 · 2026-10-10 核查

历史观察

关联报告

来源与阅读