跳至正文
原文导读 · 原标题中译

多维特征提取器实现机器人基础模型的细粒度引导与数据塑形

Multi-Dimensional Featurizers Yield Fine-Grained Steering and Data Shaping in Robot Foundation Models

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 1:块稀疏特征提取器(BSF)提取多维机器人概念,包括末端位置(上)、果蔬语义(中)及本体状态(下),对应 MolmoAct2 的 L25、L21、L13 层。每点为一个令牌的三维特征编码,各列按 PCA 坐标、任务或语义标签、SAE 特征归属着色。SAE 特征覆盖块内不同区域,展示 BSF 如何将相关变化归入同一特征。 图片出处
图 4:语义、视觉与几何三类细粒度引导。保持输入图像及指令不变,干预内部表示,将预测动作从指定物体转向另一物体。评测含 52 组留出场景—指令对,每组使用六个噪声种子;特征数按三维 BSF 块或 SAE 标量计。留出恢复率为所选特征复现激活替换效果的比例,仅在找到引导特征集的比较上取均值。星号行仅在 50/52 组找到特征集,其余行覆盖全部 52 组。 图片出处

内容摘要

作者研究了块稀疏特征提取器(BSF)如何为视觉—语言—动作模型提供可解释的行为干预接口。与稀疏自编码器(SAE)用单一方向表示特征不同,BSF 用低维子空间容纳同一概念的相关变化,发现的特征涉及视觉、语言、本体状态和任务进度。作者在相同数据与训练流程下比较两类方法,并在 MolmoAct2 上开展语义、视觉及几何引导实验:保持输入图像和指令不变,通过修改内部特征,将预测动作从指令指定物体转向另一物体。

在三组物体、共 60 次闭环语义重定向试验中,BSF 的任务完成率为 93.3%,SAE 为 75.0%,平均分别使用 2.3 和 2.5 个特征;这里的特征分别指 BSF 块与 SAE 标量。数据塑形方面,作者利用 π₀.₅ 中的失败抓取恢复特征定位 DROID 训练片段,在微调时屏蔽相关动作块的损失,涉及 1.38% 的动作令牌,保留观测,推理时不再施加特征干预。

作者报告该处理延迟了失败恢复,并在其无诱导失败的抓取放置评测中保留任务表现;这不等于证明恢复能力被彻底移除。

点评

提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。

部分干预仅做开环评测,BSF 并非全面优于 SAE;恢复实验正文与表 2 的试次数、重开时间不一致,因此不采用其倍数结论。

版本与核查范围

版本 2610.20767v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p4.1;#S1.p4.1;#S2.SS0.SSS0.Px2.p2.1;#S2.SS0.SSS0.Px4.p1.3;#A2.SS1.p1.1;figcaption[57];#S3.SS2.SSS0.Px2.p1.1;figcaption[62];#S4.SS0.SSS0.Px1.p1.1;#A1.SS0.SSS0.Px3.p1.1;#S4.SS0.SSS0.Px2.p1.1;#S5.p1.1