生成、跟踪、改进：利用强化学习微调运动生成器实现感知式多技能人形机器人运动

图 2：所提出方法的总体框架。首先，通过优化与生成模型把人类动作数据转换成动作片段（motion clips，即成片的短动作序列），构建动作库（motion library）。其次，采用 CLF-RL（控制李雅普诺夫函数强化学习，即把稳定性约束写入学习过程的强化学习算法）训练一个感知式跟踪策略（perceptive tracking policy），用于跟踪该动作库。随后，让机器人在仿真中按给定状态执行「动作库 + 跟踪策略」，采集机器人在该状态下「所见」的深度图像。这些深度图像与指令速度、动作库三者配对，构成流匹配生成器（flow matching generator）的训练数据；生成器以监督学习方式、采用流匹配 MSE 损失（flow MSE loss）进行训练。最后一步是用离线策略强化学习（off-policy RL）对生成器做微调：生成器与跟踪器在仿真中滚动采样并把数据送入缓冲区（buffer），训练一个评论家网络（critir，此处即 critic，估计无限时域回报）来为每个状态估计价值，再据此给缓冲区中的数据赋予优势标签（advantage labels），最后通过优势加权回归（advantage weighted regression, AWR）更新生成器以调整其输出分布。至此，这组「生成器 + 跟踪器」策略可部署到真实硬件上，使机器人在真实环境中实现感知式行走（perceptively locomote）。图片出处

图 6：各策略在地形通过能力上的演示，以及使用微调后策略时其对机器人速度的影响。机器人在接近地形时会自主减速，从而稳健地通过该地形。总体而言，该策略表现出准确的速度跟踪能力与可靠的地形通过能力。图中的百分比以每种地形 150 次采样中的成功试验占比衡量。图片出处

内容摘要

作者提出生成器—跟踪器双层架构：流匹配生成器依据深度图像规划全身轨迹，感知式跟踪策略执行；两者使用经动力学优化的人体动作构建地形一致的训练片段。核心改进是冻结跟踪器，对生成器进行离策略强化学习微调：通过初始噪声采样与条件扰动开展结构化搜索，收集闭环数据，再用优势加权回归更新生成器。双深度相机帮助提前观察地形，并在速度指令不变时减速，无需里程计或高度图。

在作者的IsaacLab仿真微调实验中，相对预训练策略，通过成功率最多提高25个百分点；成功要求限时到达目标且不跌倒。技能指标是采样回合中所有所需技能均选择正确的回合比例；某楼梯地形从0%增至约80%。每策略、每地形采样50回合，打乱后人工标注，无法判别计错。这些数字不是真机增益。作者另在宇树G1上展示室内外行走、跑步、上下箱体与楼梯，不能据此外推任意地形或速度能力。论文没有高速爬楼轨迹，也不支持高速跳上箱体；深度输入的语义不足及人工设计依赖仍是限制。

点评

作者实验表明，生成器微调可调整技能选择与地形一致性，是跟踪器微调之外的补充改进环节；不据此推断通用运动能力。

证据属于作者论文中的仿真实验与真机展示，不作为独立研究复现或工程开放证据。定量提升相对预训练策略，不能混同为G1真机提升。仅用深度信息限制语义表达，当前无法编码某些箱形物体不应跳上的要求；微调奖励依赖人工设计，动作数据处理仍需手调过渡超参数，并以启发式或人工方式选择人体参考动作。

版本与核查范围

版本 2609.31577v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 h1[1]；#abstract1.1；#S1.SS2.p3.1；#S1.SS2.p4.1；#S2.SS5.p4.1；figcaption[65]；#S3.SS1.p2.1；figcaption[65]；#S3.SS1.p2.1；#S3.p1.1；#S3.SS4.p1.1；#S3.SS3.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告