跳至正文
原文导读 · 原标题中译

T2-z:面向机器人世界模型的环境潜变量测试时优化

T2-z: Test-Time Optimization of Environment Latents for Robotic World Models

材料发布 2026-10-16 · arXiv · 作者论文 · 核查 2026-10-18
图 3:T2-z 框架。训练交替进行两步:固定环境潜变量,学习共享的动作条件动力学;冻结世界模型,通过预测误差优化潜变量。测试时保持世界模型冻结,从交互中优化新环境潜变量,再复用于不同动作的结果预测。 图片出处
图 4:环境潜变量的主成分分析(PCA)。圆形代表训练环境,三角形代表测试环境;颜色或大小所示的真实因素仅用于可视化,不输入模型。(a–b)仿真与真机单因素设置均出现结构化表示;(c)不同视觉背景下仍形成统一结构;(d)质量与摩擦共同变化时出现二维结构,横轴主要对应摩擦,纵轴主要对应质量,模型未预先获知因素数量及含义。 图片出处

内容摘要

作者提出 T2-z,为动作条件机器人世界模型加入可学习的环境潜变量,用于表征视觉中难以直接识别的环境差异,而不预先监督因素类别及其取值。训练交替进行:固定潜变量学习跨环境共享动力学,再冻结世界模型、通过预测误差优化潜变量。测试时保持模型权重冻结,从新环境的一条或多条交互轨迹优化新潜变量,随后复用于其他动作的结果预测。实现采用 BWM 骨干、32 维环境潜变量,主评测执行 40 次潜变量更新。

作者在 7 种仿真设置和 4 项真机任务中评估;各方法使用相同骨干,适配基线获得相同测试交互轨迹。相较不适配的标准世界模型,仿真平均动作成功率由 37.9% 升至 74.2%;真机平均逐帧状态跟踪误差由 19.30 降至 10.85 像素,动作成功率由 26.47% 升至 70.80%。论文还报告,质量与摩擦共同变化时,潜变量的 PCA 投影呈现对应两因素的二维结构;这属于作者的表示分析,并非独立复现结论。

点评

提供了一条冻结世界模型、仅优化环境表示的测试时适配路线,使交互证据可用于执行前比较候选动作结果,无需预定义物理因素监督或独立环境编码器。

结果属于作者论文评测。动作选择协议保证每组候选动作至少包含一个可成功动作,不能据此外推开放任务通用能力;仿真物理误差包含像素、灯状态分数及角度等不同量纲,不宜视为统一物理精度。

版本与核查范围

版本 2610.22364v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p2.1;#S3.SS1.SSS2.p1.1;#S1.p3.1;#S4.SS1.SSS0.Px2.p1.1;#A1.SS2.SSS0.Px2.p1.1;#S4.SS1.SSS0.Px1.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S4.T1.4;#S4.SS3.p1.1;#S4.SS1.SSS0.Px3.p1.1;figcaption[68]