跳至正文
原文导读 · 原标题中译

FLEX-WAM:面向长时程想象与规划的灵活块因果世界—动作模型

FLEX-WAM: Flexible Block-Causal World-Action Models for Long-Horizon Imagination and Planning

材料发布 2026-10-05 · arXiv · 作者论文 · 核查 2026-10-18
图1:WAM。(a) 词元化器(tokenizer)将每个相机视角编码为每帧共享的一组潜变量(latent,即模型的内部连续表示),并通过重建被遮挡的图像块来训练;各视角之间从不相互注意,因此潜变量是视角之间唯一的通路。(b) 两个网络都将其 token 布置在「帧 × 6 token」的网格上,每层沿其中一个轴做注意力计算。(c) 动力学模型对每帧的一组 token(原文数量标注为「2 6 3」)进行去噪——包括潜变量、寄存器 token(register)、两个噪声水平以及动作——输出干净的潜变量与动作速度。(d) 其在时间维上的注意力是分块因果的(block-causal):每一帧双向关注自身所在的块,并关注所有更早的块,绝不关注更晚的块。 图片出处
(原图未提供独立图注) 图片出处

内容摘要

作者指出,联合视频—动作模型常采用计算较重的固定时域骨干,难以兼顾流式推理与稳定的长时程开环生成;联合训练还可能产生看似合理、却对动作响应较弱的未来。论文提出FLEX-WAM,统一动作生成与动作后果预测。

其块因果注意力在块内双向交互、跨块保持因果性,结合轴向注意力、KV缓存和分块扩散强制,无需重训即可在部署时调整延迟与吞吐量。训练先学习纯世界模型,再转向联合训练;通过平衡状态与动作损失的梯度,并以前向动力学弹性反馈调节世界模型模式采样,维护动作响应性。

作者展示了1024步联合状态—动作生成样例,所示轨迹保持视觉连贯。模型在蒙特卡洛树搜索中同时提出动作并模拟结果;OGBench视觉谜题4×4五项任务合计成功率为80%,但成功仅指想象终态达标,并非真实执行成功率。OpenArm初步部署利用预测与实际观测的差异识别纠错样本;利用这些样本持续改进仍属后续工作。上述结果来自作者论文,不应视为独立复现或通用能力证明。

点评

该作者论文展示了由同一模型提供动作提案与想象结果的规划路径,并将动作响应性作为联合训练中需要主动维护的能力。

1024步结果是所示样例的视觉连贯性证据,不能替代长期物理准确性验证;想象计划的真实执行及利用失配样本持续改进仍属未来工作。论文注明代码与检查点因匿名评审暂未提供,将在接收后发布,不能据此认定工程已经开放。本次材料未提供独立研究复现证据。

版本与核查范围

版本 2610.05483v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;figcaption[27];#abstract1.1;#p6.1;#p5.1;#S3.SS3.SSS3.p1.1;#p7.1;figcaption[105];#S3.SS4.SSS2.Px2.p1.1;#S3.SS1.p3.1;#S3.SS5.p1.1