跳至正文
原文导读 · 原标题中译

基于能量的策略编排(Energy-Based Policy Orchestration)

Energy-Based Policy Orchestration

材料发布 2026-11-02 · arXiv · 作者论文 · 核查 2026-11-06
图 2:仿真中的精度—鲁棒性权衡。每个点均为平坦、崎岖与楼梯三类地形上的平均值。横轴表示归一化跟踪误差,纵轴表示加权存活率(Normal、Extreme 与 Push 三种存活情况的均值)。左:loco-manipulation(移动操作);π_stand 与 π_stand + Opt 落在绘图范围之外。右:不含速度指令的站立式操作。 图片出处
图 5:人形机器人的移动操作(loco-manipulation)任务。我们在仿真中评估全身控制,并进行硬件部署演示,包括移动与移动操作。 图片出处

内容摘要

分层控制里,高层策略给任务级目标,低层控制器做快速反馈执行。人形机器人搬运时,打滑或意外接触要求它减速或先恢复平衡,而高层目标不编码这些快速物理变化,于是匹配目标的低层指令物理上仍可能不可行。作者把这种固定映射的失效形式化为策略编排:运行时同时决定用哪个低层策略、给它什么目标。

论文提出 EPO(基于能量的策略编排),插在高层策略与一组冻结低层策略之间:对每个策略单独学一个复合能量(可行性概率与目标一致性概率的负对数之和),能量越低表示越可行、目标实现越准。运行时先用梯度下降把各策略的目标微调到更低能量,再执行能量最低的"策略–目标"对;目标微调 10 Hz、策略选择 50 Hz。新增策略只需训练自己的能量模型,不必重训已有策略或集中式调度器——加一个策略约 30 GPU 分钟,混合专家(MoE)门控每次变更需重训 40–60 GPU 分钟。

在 Unitree G1 的 Isaac Lab 仿真中,EPO-M2 把归一化跟踪误差从 0.568 降到 0.542(对比鲁棒型策略),加权存活率 96.8% 对 97.7%;站立操作下 EPO-M4 误差 0.420 对 MoE-M4 的 0.461,每回合切换 2.08 次、MoE-M4 为 15.46 次。消融显示鲁棒性主要来自可行性项:只留一致性项时推挤存活率从 96.4% 掉到 78.9%(移动操作)、95.3% 掉到 58.6%(站立);去掉目标微调可把编排频率上限从 83 Hz 提到 615 Hz,代价是干净跟踪误差增加约 1.5%。

真机上冻结策略与能量模型直接部署到 Unitree G1,演示搬箱、被篮球击中后恢复、开门,未做微调。局限:跨策略比较依赖学到的能量模型,分布偏移或新策略校准不佳时可能失准,开销随候选策略数增长,且不替代动作级安全滤波;本次材料只有作者论文本身,未见独立复现。

点评

对机器人本体软件工程师,EPO 可作为高层规划与已有低层控制器之间的一层运行时适配:不改低层策略,只在运行时按状态挑策略并微调下发的低层目标;新增技能时只需为该策略补一个能量模型(约 30 GPU 分钟),而不是重训策略或维护一个需要随策略库变更重训的集中式调度器。它更适合已经训出多个互补控制器(精度型、鲁棒型、站立型)、但缺少统一取舍机制的团队。

证据仅为作者论文本身:仿真为主,真机只有三项演示,且站立轻推结果被作者自标为初步(preliminary);本次未包含 arXiv 滚动摘要页与更新目录的后续变更,也未见独立复现。方法自身局限:跨策略比较依赖学到的能量模型,分布偏移、目标覆盖不足或新策略校准不佳时可能失准;运行开销随候选策略数量增长,目标微调占主要开销;只作用在策略–目标接口,不替代动作级安全滤波或形式化约束。

版本与核查范围

版本 2611.02546v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#S1.p3.1;#S1.p4.1;#abstract1.1;#S3.SS3.SSS0.Px2.p1.1;#S4.SS2.SSS0.Px3.p1.1;#S4.SS2.SSS0.Px1.p1.1;#S4.SS3.SSS0.Px2.p1.1;#S4.SS3.SSS0.Px3.p1.1;#S4.SS5.p2.1;#S4.SS5.p2.1;#S5.p1.1