强化学习｜具身图谱

强化学习（RL）用交互结果与奖励改进策略，属于学习方法，贯穿运动控制、真机操作与 VLA 后训练。机器人奖励可来自任务检测、规则或人工标注，不等同于语言模型 RLHF。

路线	学习信号	主要成本与限制
仿真在线 RL	大量交互、任务/跟踪奖励	仿真差距、奖励偏差、迁移验证
真机 RL / 人在回路	真实交互、奖励检测、示范与接管	重置、探索、人工及硬件时间
离线经验与 VLA 后训练	历史轨迹、价值估计或策略优化	覆盖不足、信用分配与评测泄漏

当前判断 · 2026-10-10 核查

仿真后训练的真机收益有条件。 DRIVE 的两项短操作在匹配场景的同条件对照中改善视觉扰动鲁棒性；RLinf-VLA 关抽屉的 SFT 与 RL 两组均为 8/10，只有动作质量的定性改善。后者不能被训练吞吐提升改写成成功率增长。原文对照

真实经验可以超越原示范表现，但尚不能据此判定总成本低。 HIL-SERL 的纠正模仿对照、RAPolicy 的共同 SFT 起点支持特定任务的改进；奖励标注、示范、接管、重置及算力仍是条件。在线阶段时长不是总人工时间，也不能外推 RL 普遍取代模仿。后训练证据

历史观察

按发布时点排列，反映本站已收录范围，不代表完整研究时间线。

2026-10-28 · arXiv · 作者论文METATRON：面向人形机器人的可提示全身执行层
对机器人本体软件程序员，这是把"加新任务"从训练问题变成写提示与状态机代码的问题：同一份冻结权重靠改代码复用已学到的运动能力，技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚：执行层负责把粗略目标变成平衡与关节动作，"选目标、长时间规划"仍留在上层任务系统。
2026-10-24 · arXiv · 作者论文MimicAll：面向跨人形机器人全身动作跟踪的结构化本体条件化
对做本体软件和全身控制策略的工程师，最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符，作为条件与观测一起送进共享策略，从而用一套参数覆盖多副身体；条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差，而简单拼接就足以改善动作完成率。工程上，参考库留在主机内存、只把活动的时间窗搬到 GPU，使显存占用不再随完整参考库增长，上千机体变体也能共用同一套训练流程。需要清醒认识的是：本文结论全部来自仿真，换到未见机器人家族会明显失效，真机与安全验证要自行补齐。
2026-10-21 · arXiv · 作者论文看好脚下：面向人形机器人行走的预判式感知
对运动控制开发者，值得借鉴的是用预测落脚点筛选策略观察，而非把预测位置作为必须跟踪的落脚目标；作者实验表明，这种输入设计可减少达到指定地形难度所需的训练迭代。
2026-10-20 · arXiv · 作者论文在关键处学习：面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程，把数据采集与学习集中到精密接触段，并明确接触触发、完成判断等模块接口，而非必须端到端重训整个任务。
2026-10-20 · arXiv · 作者论文AWLS：面向单步生成式机器人操作策略的优势加权潜空间引导
为已有单步操作策略提供一种保留解码器的离线适配路径；部署端无需保留价值评估器，也不引入迭代去噪或候选动作筛选。
2026-10-19 · arXiv · 作者论文Humanoid SRL：通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者，这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考，而非把第三臂当作独立机械手。
2026-10-17 · arXiv · 作者论文HydroShear：用于触觉仿真到现实强化学习的水弹性剪切仿真
对触觉控制开发者，这项工作提供了以接触历史和滑移建模改进仿真到真机迁移的路线；工程接入需同时考虑真实数据标定与底层接触模型。
2026-10-16 · arXiv · 作者论文价值即记忆：面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入，为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。

展开其余 16 条历史观察

2026-10-16 · arXiv · 作者论文全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换，为粗略遥操指令下维持物体支撑提供了一条技术路径。
2026-10-15 · arXiv · 作者论文通过广义执行器网络实现肌肉驱动机器人的仿真到现实迁移
提供了一条无需力矩传感器、将复杂执行器学习与已有刚体仿真结合的策略训练路径；场景增删物体不必重新训练执行器网络。
2026-10-13 · Hugging Face · 工程产物用含失败轨迹微调 Boundless 世界模型：RoboTwin「调整水瓶」的假成功从 82.5% 降到 26.3%
对机器人软件开发者来说用处很具体：世界模型（world model，即根据动作生成后续画面的模型）产出的视频一旦把失败画成成功，就不能拿来判断这一把有没有抓住；这份检查点显示，把失败轨迹喂回世界模型能明显压低这种「假成功」（留出片段上失败误读率由 0.825 降到 0.263，成功召回 0.964）。权重与基座同结构（同一 DiT 扩散变换器与动作编码器状态字典，仅推理权重），可直接替换 `step-12000.safetensors`，接入已有推理管线改动很小。接入时照卡片的推理契约即可：每窗 61 帧（1 初始帧 + 8 历史帧 + 52 未来帧），`num_inference_steps=50`、`cfg_scale=1`、`action_mode=adaln`，动作取 BWM 的 `eef_abs` 空间；卡片还提示发布管线在 50 步推理时历史噪声分支实际不起作用，需要自己加噪。把模型当 PPO 训练场的用法同样出自这份作者材料。
2026-10-10 · arXiv · 作者论文基于在线接触式几何估计的负载感知四足机器人导航
将负载几何估计与导航策略连接起来，并用循环记忆保留稀疏接触信息，为未知尺寸负载的导航适配提供了研究路径。
2026-10-09 · arXiv · 作者论文Reflex：视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径，价值在于解耦视觉学习与全身控制，而非证明通用人形技能。
2026-10-07 · arXiv · 作者论文成功的多种路径：面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标，为改善所测分布偏移下的VLA泛化提供了一种训练思路；这里呈现的是作者实验结果，而非独立研究复现。
2026-10-07 · arXiv · 作者论文人形机器人全身控制中的精确 SE(3) 末端执行器跟踪
该研究展示了将显式任务空间几何反馈与学习修正结合的人形全身控制路径，并区分了参考系引入的目标运动与实际动力学扰动。
2026-10-03 · arXiv · 作者论文学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照：在底层稳定跟踪的条件下，可以考察降低策略更新频率，而非默认追求高频。
2026-10-02 · arXiv · 作者论文面向安全人形机器人全身跟踪的滤波器感知微调（CoFiT）
对做机器人本体控制软件的工程师，这是一条"只改跟踪器、不改滤波器"的改造路径：现有安全滤波器继续承担训练后才出现的约束，跟踪策略通过一次带滤波器的微调学会主动少让滤波器动手，真机上把需要急停的次数从五次降为零次、违规时间降低 83%；代价是跟踪精度下降，需按场景取舍。
2026-09-30 · arXiv · 作者论文CEER2：面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行，为操作接触与随人移动提供可组合的控制接口。
2026-09-30 · arXiv · 作者论文无人机足球：学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据，展示了简化动力学模型配合闭环学习控制的用途。
2026-09-29 · arXiv · 作者论文ContactExplorer：面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件；受限物体取回实验显示，它可减少对人工接触初始化的依赖。
2026-09-28 · arXiv · 作者论文ZeroBot：借助生成式 Real2Sim 在数分钟内从零学习
作者实验表明，生成几何不仅能用于搭建仿真，还能直接参与接触状态选择，加速特定任务的策略学习与仿真到真机迁移。
2026-09-26 · arXiv · 作者论文生成、跟踪、改进：利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明，生成器微调可调整技能选择与地形一致性，是跟踪器微调之外的补充改进环节；不据此推断通用运动能力。
2026-09-18 · arXiv · 作者论文从预训练到熟练掌握：以最少人工干预开展面向长时程操作的真实世界子任务强化学习
提供一种保留基础策略、用局部奖励集中修补失败环节的适配路径；改进仍以完整任务执行评估，而非只看孤立子任务。
2026-09-17 · arXiv · 作者论文赢下已赢之局：面向高维黑箱系统的严格到达—避障—保持控制障碍函数
该工作把安全过滤的目标从单纯避险扩展为保留完成任务及保持成果的可能性。理论区分可行性保持与实际到达：进入终端安全集后的保持具有条件保证，但不能据此宣称任意任务策略都必然有限时间到达。

当前判断 · 2026-10-10 核查

历史观察

关联报告

来源与阅读