跳至正文
原文导读 · 原标题中译

SCOUT:通过动作结果反馈实现测试时策略适配

Scout ing the Dynamics Gap: Test-Time Policy Adaptation via Action-Outcome Feedback

材料发布 2026-09-29 · arXiv · 作者论文 · 核查 2026-10-18
图 2:本文测试时适应(test-time adaptation)框架总览。在内环中,初始信念(belief)q0 利用过去的交互、同时冻结全部网络权重,通过最小化潜在动力学预测误差(L_inner)被适应为 qk。在外环中,适应后的信念 qk 通过 FiLM 调制策略头,以预测动作分布。整个框架(包含 q0)通过将策略损失(L_outer)经内环更新反向传播,进行端到端的元训练(meta-training)。 图片出处
图 3:真实世界中不均匀杆件(uneven bar)的拾取与推动结果。左:使用与不使用测试时训练时达到成功所需的尝试次数,以 95% 置信区间给出。右:适应前后沿不均匀杆件 x 轴方向的策略预测权重可视化。可以看出 SCOUT 能够有效适应不同的质心(Center of Mass)位置。 图片出处

内容摘要

作者提出SCOUT,针对机器人部署时未知物理属性与动力学带来的适配需求,用动作结果预测误差提供反馈,而非仅依赖标量奖励。方法以共享信念潜变量连接动作策略与前向动力学模型:元训练内循环依据动力学预测损失更新信念,外循环以模仿学习损失优化网络;部署时冻结全部网络权重,仅更新信念潜变量。

作者报告,歧义门仿真基准以最多20步内完全开门为成功标准,5步适配的SCOUT成功率为0.97,历史条件GMM为0.68。主实验使用仿真器真值逐点流;测试时改用估计流后,5步适配成功率为0.96,成功试验平均步数由12.8增至14.94。

真机实验将仅在仿真中训练的模型用于偏心杆抓取和推动;每种方法、每个重心位置各测试10回合,每回合最多10步。作者报告,相比非测试时训练基线,两项任务均需要更少尝试。以上是作者论文实验结果;验证限于物理歧义,尚未覆盖复杂几何约束、感知错误,也未集成大规模基础策略,不能据此外推通用操作能力。

点评

提供了一条通过共享信念潜变量,将动作结果预测误差转为部署时策略调整的路线,而不是直接微调策略网络权重。

证据为作者论文实验,不作为独立复现或工程开放的证明。门任务主结果使用仿真器真值逐点流,估计流测试仍属于该仿真基准;真机验证限于偏心杆抓取和推动。论文明确尚未验证复杂几何约束、感知错误等失败来源,也未集成大规模基础策略。

版本与核查范围

版本 2609.36107v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p3.1;#S1.p4.1;#S4.SS2.p2.1;#S5.SS1.SSS0.Px2.p1.1;#S5.T2.4.1;#A4.SS1.p1.1;#A4.T6.4;#S5.p1.1;#S5.SS1.SSS0.Px3.p1.1;#S7.p1.1