核心跟进 · 模型怎样将观测与指令转为推理、预测和动作?
主要路线与入口
进展与证据边界
公开样本核查:2026-10-10。窗口内 RLinf-VLA v3 补真机迁移对照,改善执行效率但未提高该任务成功率;WALL-WM v2 明确真机进展分并增加仿真二值成功评测。后训练与世界动作建模都有具体依据,尚不能形成跨模型通用排名。
统一动作流与分层推理是可组合的接口选择,见 VLA、分层与组合。版本增量、开放边界和缺口见 技术基线。
与相邻领域的关系
训练算法归 K03,动作的物理实现归 K04;世界模型的预测质量需联系 K02 与 K09 判断。
训练、适配与算力部署 · 本体、感知与执行能力 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- NVIDIA Cosmos3-Nano-Sim-Auto:用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者,这次的关键变化是闭环输入直接来自策略自身的规划轨迹,且相机与激光雷达是联合生成的(官方称用于支撑空间与时间一致性),因此多传感器感知栈与驾驶策略能在同一次 rollout(一次连续生成)里一起评估,而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU,模型卡未提及嵌入式或车端部署,因此按现有公开信息,它更适合放在数据中心侧跑仿真生成数据,而不是直接装进机器人本体。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- 从 12 条到 200 条示范:ACT、Diffusion Policy、SmolVLA 与 π0.5 在低成本机械臂上的扩展表现
给机器人本体软件工程师几条可直接用的判据:示范只有几十条时优先微调预训练策略,且要训练动作专家而不是 LoRA;数据上百条时把从零训练的 ACT 当基线再决定要不要上大模型;遥操作演示开头若有一段静止,务必剪掉再训;评测时记住同一权重重复测十回合平均会差 2.0 次成功,别用十回合给两个模型下结论。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- 一次扫描就够:语言引导导航的无示范适配与真机验证
对机器人本体软件开发者,最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据,换成一次扫描加一次人工标定:同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路,而不是他们的模型或数字;换用自家策略与本体仍需自行复现,本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
- Cosmos-H-Dreams:英伟达面向外科机器人的实时动作条件世界模型(模型卡已指向更新版本)
对接机器人本体或策略软件时,接口是明确的:给一帧上下文图像加一条 44 维动作流,服务每 12 个动作步回传 12 帧画面;人可以拿键盘或 Meta Quest 头显手动驱动,也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库,对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述,落地前仍需在自己的场景、动作空间和硬件上实测。
展开其余 91 条历史观察
- WorldFailBench:世界模型理解策略失败了吗?
给策略评估与部署工程的用处很直接:想在真机回归测试之前用世界模型筛策略,可以先用这三类任务检查"生成的失败诊断是否可信",把"成功率一致"和"失败诊断一致"分成两件事。论文给出的证据是七个世界模型在失败类型、失败阶段、失败边界三关上都明显落后于参考环境重复跑的水平,所以生成轨迹里的失败分布不能直接当作策略短板的证据;作者也指出,这类预测在用于指导进一步测试前仍需在参考环境中复核。代码与数据集由作者公开(GitHub 仓库与 Hugging Face 数据集),可自行复跑;但本次材料只有该 arXiv v1 预印本本身,结论应视为作者自述结果。
- NVIDIA Cosmos 扩展世界模型的数据、训练、仿真评估与部署工具
对机器人软件团队,关注点是可分别使用数据生成、模型训练适配、仿真评估和推理部署工具,而非将此次更新视为机器人能力突破。开放性及工具支持范围来自厂商声明,不能等同于工程产物已被核验或独立研究已复现。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
- 超越外观变化:为 VLA 模型做任务语义动作校准(Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models)
对做机器人本体软件的开发者,可借鉴的是接入方式而不是网络结构:校准层作为可插拔组件挂在共享 VLA 的动作输出上,骨干权重不动,训练侧额外准备“保义改写”和“语义破坏改写”两类指令对即可,推理侧默认路径的代价是 p50 增加 47–53 ms。作者主张的工程逻辑是:目标或约束真变时,先让策略“不再按旧任务继续跑”,再谈改对,这比笼统追求鲁棒性更贴近部署中“指令换目标”这类变更。保义支路则把“什么时候才允许改动基础动作”写成显式证据门控,可用于设计回退与监控策略;但它需要再查一次冻结策略,端到端延迟接近 1 秒,按其量级更适合作低频或早期修正,不宜放进高频控制回路。文中全部数字来自作者自测的仿真与真机试验,本次材料未见独立复现。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- SimPT:用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者,价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程;真机验证的是由此开发的训练改进,而非自动恢复机制直接部署到真机。
- NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43(训练种子 43):标准场景 93.3%,扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估,做成了可下载、可对照的公开权重:机器人本体软件工程师可直接加载这条 LIBERO-10(10 任务的操作基准)策略,在同一批初始状态上比较标准与扰动场景的成功率,并按模型卡要求配上重复样本对照,判断自己的数据流程里是否值得引入合成数据。复现成本也被写明:数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物,按 NVIDIA 开放模型许可证发布。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- Thinker-WM:面向具身智能、具有共享多模态表征的统一世界模型
为机器人软件开发提供一种统一预测与动作生成的模型接口设计,并用受控实验检验动作输入和深度交互是否发挥作用。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- 弗雷歇强制:用短片段训练长时域流式世界模型
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
- ICAT:基于事故案例的具身世界模型物理风险预测自适应测试
对将生成视频接入机器人规划或策略学习的团队,ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路,而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
- StopWatch:面向物体目标导航的目标锚定
为导航软件提供可检查的感知—策略接口:先定位“没认出目标”还是“决策没停下”,并可在不重训策略的情况下改进感知。
- OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
- LIBERO-PeRM:个性化机器人操作基准评测
该基准为区分“做成任务”与“按偏好执行”提供受控评测条件,有助于定位个性化操作的失败模式,而非仅依据任务成功率判断能力。
- T2-z:面向机器人世界模型的环境潜变量测试时优化
提供了一条冻结世界模型、仅优化环境表示的测试时适配路线,使交互证据可用于执行前比较候选动作结果,无需预定义物理因素监督或独立环境编码器。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- 机器人策略应该学习预测什么?重新思考视觉—语言—动作学习中的监督目标
将“预测什么”与“如何分配监督”变为可控的训练设计变量;同源对照有助于区分路由分配的影响与目标表征、辅助专家差异。
- FineART:双臂操作细粒度标注轨迹数据集
密集子任务语言及其时间对齐,为子任务预测与低层动作执行相结合的训练提供数据基础;这是发布方描述的训练用途,不等于已经证明通用能力提升。
- LoopWAM:利用部署轨迹闭环改进通用策略
提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。
- MAIA:通过多模态世界模型预判接触密集型操作中的交互异常
这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。
- 超越单轴测试:视觉—语言—动作策略复合鲁棒性的配对评估
为鲁棒性评测提供更细的诊断方式:在已有配对单轴测试上增加一个匹配的同时扰动条件,揭示总体成功率可能掩盖的双向结果变化。
- 面向自适应 VLA 动作块执行的策略对齐预测验证
将未来预测用于判断已有动作提案可以执行多远,而不是生成新动作,为既有 VLA 的执行长度选择提供另一条路径。
- Fast-VLA:机器人操作只需思考一次
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
- 重新审视面向可泛化机器人操作的具身思维链
研究支持将具身 CoT 作为塑造动作相关表征的训练信号,而非强制的推理期文本前缀;其价值取决于监督是否可靠、是否与动作学习有效耦合。
- VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- 世界建模与动作建模能否在统一因果训练下相互受益?
作者的受控比较支持:在所测因果架构与任务中,显式学习动作的视觉后果与学习生成动作可提供互补监督,而不只是单向利用视频预测辅助策略。
- EgoJEPA:超越重定向,从第一视角视频学习灵巧操作
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线;作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- 多维特征提取器实现机器人基础模型的细粒度引导与数据塑形
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
- 用含失败轨迹微调 Boundless 世界模型:RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体:世界模型(world model,即根据动作生成后续画面的模型)产出的视频一旦把失败画成成功,就不能拿来判断这一把有没有抓住;这份检查点显示,把失败轨迹喂回世界模型能明显压低这种「假成功」(留出片段上失败误读率由 0.825 降到 0.263,成功召回 0.964)。权重与基座同结构(同一 DiT 扩散变换器与动作编码器状态字典,仅推理权重),可直接替换 `step-12000.safetensors`,接入已有推理管线改动很小。接入时照卡片的推理契约即可:每窗 61 帧(1 初始帧 + 8 历史帧 + 52 未来帧),`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`,动作取 BWM 的 `eef_abs` 空间;卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用,需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
- PINT:以共享预测意图统一机器人操作的模型
对做机器人本体软件的工程师,可直接借鉴的是接口层面的三点:把跨模块共享信息压成一段紧凑的意图表示;只替换视频生成模型的条件入口、保留其预训练生成机制;以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向,使延迟与同规模 Fast-WAM 接近(331 毫秒对 266 毫秒),本体实时性压力可控。
- 成功但不安全:揭示视觉与语言导航中碰撞的分析性基准
该工作为导航评测补充了“成功是否无碰撞”的维度,也说明报告成绩时应交代碰撞处理机制,不能只凭任务成功率判断安全性。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- PILOT:利用视觉子目标与策略先验引导机器人操作的长时程世界模型规划
作者实验支持将任务阶段引导与局部动作搜索分工:视觉子目标帮助短预测时域规划推进任务,策略先验进一步改善搜索效率。
- 无需更新策略的基于流的策略适配
提供一种把任务理解留给底层智能体、以目标无关专家先验选择性修正执行动作的适配路径。
- 像世界模型一样思考,像VLA一样行动:将世界模型表征蒸馏到紧凑机器人策略中
这项作者研究展示了一条将世界模型用作离线表征教师、而非在线控制器的路径:通过训练期对齐改善紧凑策略,部署时不增加网络模块。
- TaskAnchor:为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合,用于改善预训练VLA的历史依赖动作选择,而非另设规划循环。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 模态自回归世界—动作模型
作者实验为先生成结构化未来、再生成动作的设计提供了支持,也表明ModAR在受测任务中可利用无动作人类示范改善表现;不据此推断通用操作能力。
- ARC:面向机器人基础模型的推理配方
对机器人本体软件工程师,这是一条不靠堆数据的改造路径:不重新采数据、不重训基础模型,用自动生成的因果轨迹改造已有策略,改动点是标注脚本、轨迹注入接口和运行时的一个轨迹生成服务。
- 具身图灵机:用于机器人递归自我改进的有状态代码
这项作者研究将策略改进落实为显式状态、可检查代码与离线验证的迭代,为机器人递归自我改进提供了一条软件化研究路线。
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
- 长时程技能衔接处观测空间偏移的诊断与恢复
该研究支持在特定技能衔接故障中,先恢复阻塞场景、再继续执行,而非仅增加重试;证据用于支持故障诊断,不代表通用恢复能力。
- Long-WAM:扩展世界—动作模型的上下文
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
- 成功的多种路径:面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。
- StressDream:引导视频世界模型,用于鲁棒策略评估与改进
该研究展示了用引导生成筛查候选轨迹失败风险、并以悲观生成辅助示范重加权的路径;证据限于作者所评估的设置,不外推为通用策略能力。
- 世界模型的物理终极考试
将视觉连贯、任务可观测性与可测物理关系分开,为诊断视频模型的物理不一致提供可解释依据,而非通用具身能力认证。
- 多少规划才足够?减少世界模型规划中的搜索与计算
将“结果足够好”的预算校准与单次求解内的计算复用分开,为既有世界模型规划器提供部署侧优化路径,而非改进模型本身。
- H-JEPA:面向视觉规划的分层世界模型端到端学习
这项作者研究提示,层级结构可能通过时间分解及高层目标距离表征两条途径帮助规划;不能将收益仅归于其中一种机制。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型
该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。
- DiVeR:面向VLA测试时扩展的决策关键性验证器学习
该作者论文提示,VLA测试时扩展不仅取决于增加候选数量,也取决于让验证器重点学习动作差异真正影响结果的状态。
- 通过基于采样的扰动观测器应对仿真到现实的失配:从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口,针对局部持续、与任务相关的失配进行修正,而非完整辨识仿真到现实差距。
- 测试时训练作为机器人策略的残差记忆
这项作者研究支持一种互补记忆设计:快权重重点学习已有上下文解释不了的历史,而非简单叠加两种记忆机制。
- TimelyDAgger:用于改进VLA策略的时机感知专家查询
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
- 重新思考用于组合式与上下文机器人操作的世界—动作模型
作者实验支持将视觉子目标作为任务规划与动作生成之间的显式接口,并用目标图像在推理时引导已学行为的重新组合。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- SteerQuant:在世界—动作模型中通过动作引导缩放调控量化误差
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
- RawVLA:面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
- SCOUT:通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。
- SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
- 通过流匹配中的条件退火重新思考因果动作词元化
该工作将动作词元的生成阶段结构与自回归预测目标对齐,为动作离散化提供了不只追求压缩与重建的设计方向。
- 修订,而非重启:面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示,视觉预测误差降低不必然带来任务成功率提高。
- 利用视觉—语言—动作模型学习在视觉中断下行动
将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。
- 时间强制:面向视觉—语言—动作模型的四维表征对齐
这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来,为历史感知VLA提供了训练期表征监督路径,而非仅扩展输入历史。
- 自然状态预测的准确性可能掩盖VLA读出器在受控条件下的响应不足
研究支持联合评估自然准确性、受控响应和情境稳定性,而不把状态可解码直接等同于忠实响应或任务成功。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- 机器人学习中的潜在动作,什么最重要?
为利用视频初始化机器人策略提供了设计与筛选依据:潜在动作微调值得验证,但模型选择仍应回到下游任务表现。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- Causeway:恢复VLA策略在指令切换中的任务可达性
该工作展示了通过推理时干预恢复既有任务能力可达性的路径,而非让VLA学会新任务。
- InfiNoVA:面向视角不变机器人策略的无限新视角增强
提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。
- VLAQuantBench:视觉—语言—动作模型训练后量化的闭环评测
研究支持将层范围、数值格式与校准配方联合做闭环验证,而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录,为后续比较提供工程基础。
- CARE:面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计,为VLA失败恢复提供了可分别检验的数据与执行机制。
- CompVLA:面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出,为连接多模态策略和底层接触控制提供了一条具体路线。
- 从预训练到熟练掌握:以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径;改进仍以完整任务执行评估,而非只看孤立子任务。
- 打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
- CAP:通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径,而非依靠想象轨迹优化策略。
- ICI-VLA:面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿
作者实验支持将时空对齐示范作为固定策略的测试时适配输入;消融中,移除掩码、DTW或语义筛选均降低成功率。
- 更好的想象推演意味着更好的机器人控制吗?反馈条件下世界模型评估的受控研究
为反馈系统中的预测模型评测提供方法学提醒:离线协议应尽量匹配部署时的感知、状态校正与控制更新结构,不能只看无观测推演误差。
- TrAct:以视觉轨迹连接机器人控制与视觉预测
作者实验支持将视觉轨迹作为策略与世界模型的共享接口,为通过未来画面评价候选动作提供了一条技术路径。
- 以潜在动作为意图,使世界动作模型能够高效想象未来
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
关联报告
来源与阅读
- RLinf-VLA v3 · §V · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- WALL-WM v2 · §7 / §9.5 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- G0.5 v1 · §3 / §5 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
