核心跟进 · 模型、控制与任务如何组成可维护的闭环系统?
主要路线与入口
| 方向 | 关注什么 |
|---|---|
| 接口与运行时 | 分层架构、通信、模型接入:任务、技能、推理与控制的接口 |
| 执行与恢复 | 任务执行、权限与控制:控制权、异常、抢占和恢复 |
| 工程支撑 | 工程工具、交付与机群:日志、回放、版本、升级与运维 |
进展与证据边界
公开样本核查:2026-10-10。LeRobot v0.6.1 的接口迁移、SONIC 配套观测与控制器变体说明,模型/处理器/运行时必须成套固定;GR00T 的代码 GA 与权重卡 EA 仍有版本冲突,见 模型接入。
ros2_control 的目标更新频率和条件性 fallback 是工程契约,不是实测实时性或恢复证明。见 通信与运行时 及 技术基线。
与相邻领域的关系
本域关注系统内部组织,K08 关注第三方能力契约、工具与分发,因此相邻阅读;系统评测回到 K09。
训练、适配与算力部署 · 本体、感知与执行能力 · 开放平台与开发者生态 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复
对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。
- V2-STRep:以视觉语言模型为基础的结构化任务表示,从生成视频中获取可复用机器人技能
对机器人软件开发者,其参考价值是把必须保持的任务约束与可供规划调整的运动自由度分开表达,而不是要求机器人逐帧追随全部视频姿态。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
展开其余 31 条历史观察
- NVIDIA 扩展 Isaac:衔接机器人训练、运行时与人形参考平台
工程关注点是数据、训练、运行时与参考本体之间的接口和工作流。公告可作为工具链选型与接入评估的线索,但不代表集成收益或机器人通用能力已经得到独立验证。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- Isaac Lab 3.0 正式版
对机器人软件开发者,价值主要在于按任务选择运行组件,并在受支持的后端间复用任务逻辑;这是工程接口与工作流调整,不是通用机器人能力的验证。
- Thinker-WM:面向具身智能、具有共享多模态表征的统一世界模型
为机器人软件开发提供一种统一预测与动作生成的模型接口设计,并用受控实验检验动作输入和深度交互是否发挥作用。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- StopWatch:面向物体目标导航的目标锚定
为导航软件提供可检查的感知—策略接口:先定位“没认出目标”还是“决策没停下”,并可在不重训策略的情况下改进感知。
- OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
- 面向长时域越野导航的可通行性学习
这项作者研究展示了用驾驶轨迹与地形先验学习全局导航地图的路线,将远域地理信息与近域实时避障分工衔接;其评测反映与人类驾驶实践的一致性,而非路径最优性的证明。
- RMBench:依赖记忆的机器人操作基准及其对策略设计的启示
这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。
- 用于连续物理人机交互的亚毫秒级反射
为 ROS 2 控制系统提供减少模式切换中断、衔接反射响应的工程路径,而非要求采用单一统一控制策略。工程开放仅按论文声明表述,不等同于独立研究复现。
- LifelongCrossNav:用于跨楼层多目标导航的持久三维语义记忆
作者的消融结果支持跨目标几何与语义记忆复用改善后续目标的导航效率;贡献在于将可查询记忆与跨层通行统一,而非证明通用导航能力。
- TaskAnchor:为长时程操作中的反应式VLA锚定任务状态
作者实验支持将历史证据与显式阶段条件结合,用于改善预训练VLA的历史依赖动作选择,而非另设规划循环。
- 具身图灵机:用于机器人递归自我改进的有状态代码
这项作者研究将策略改进落实为显式状态、可检查代码与离线验证的迭代,为机器人递归自我改进提供了一条软件化研究路线。
- EagleVLA:通过前瞻对齐的异步推理迈向机载实时机器人控制
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
- 长时程技能衔接处观测空间偏移的诊断与恢复
该研究支持在特定技能衔接故障中,先恢复阻塞场景、再继续执行,而非仅增加重试;证据用于支持故障诊断,不代表通用恢复能力。
- AeroEval:面向 AI 生成无人机任务的分阶段程序与执行验证
作者实验支持程序检查与执行证据的互补价值:前者排查结构、接口和意图错误,后者识别与轨迹及环境交互有关的行为违规。
- GEM-Occ:从视觉几何证据到具身语义占据记忆
该研究将“支持、矛盾与遮挡”区分处理,为兼顾持续占据记忆质量与存储、查询成本提供了作者实验依据。
- CoDimRecon:通过智能体重建包含可变形曲线、曲面和体积的仿真就绪三维场景
把重建目标从外观与几何扩展到求解器兼容的柔性资产,并用行为测试连接视觉重建与下游仿真。
- 学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照:在底层稳定跟踪的条件下,可以考察降低策略更新频率,而非默认追求高频。
- 连接前沿推理与机器人执行:从自主示范生成到密集语言监督
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- Guava:通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示,共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径;能力来自模型与工具系统的组合。
- SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
- 多机器人轨迹去噪
将无需学习的扩散去噪作为轨迹优化工具,并扩展为解耦、在线和分布式规划,为不同规模与计算条件下的多机器人协调提供方法选择。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- GINIO:面向神经惯性里程计的几何 SO(3) 等变接口
为学习式惯性测量与滤波融合提供可用于不同骨干和估计器的几何设计原则;重点是旋转鲁棒性与有竞争力的标称精度,而非所有标称条件下均领先。
- Causeway:恢复VLA策略在指令切换中的任务可达性
该工作展示了通过推理时干预恢复既有任务能力可达性的路径,而非让VLA学会新任务。
- CARE:面向视觉—语言—动作策略的经验引导原子纠正执行
将“从哪些失败中学习”与“何时调用纠正动作”分开设计,为VLA失败恢复提供了可分别检验的数据与执行机制。
- Retriever:组合面向长时程操作的感知—推理—行动闭环
通过显式规定模块运行时钟和输入快照,并记录重放所需事件信息,为异步机器人闭环的调试与离线重执行提供系统化路径。
关联报告
来源与阅读
- ros2_control Controller Manager · 固定文档源 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- LeRobot v0.6.1 发布说明 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- Isaac-GR00T README · 固定 commit · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
