内容摘要
作者研究了块稀疏特征提取器(BSF)如何为视觉—语言—动作模型提供可解释的行为干预接口。与稀疏自编码器(SAE)用单一方向表示特征不同,BSF 用低维子空间容纳同一概念的相关变化,发现的特征涉及视觉、语言、本体状态和任务进度。作者在相同数据与训练流程下比较两类方法,并在 MolmoAct2 上开展语义、视觉及几何引导实验:保持输入图像和指令不变,通过修改内部特征,将预测动作从指令指定物体转向另一物体。
在三组物体、共 60 次闭环语义重定向试验中,BSF 的任务完成率为 93.3%,SAE 为 75.0%,平均分别使用 2.3 和 2.5 个特征;这里的特征分别指 BSF 块与 SAE 标量。数据塑形方面,作者利用 π₀.₅ 中的失败抓取恢复特征定位 DROID 训练片段,在微调时屏蔽相关动作块的损失,涉及 1.38% 的动作令牌,保留观测,推理时不再施加特征干预。
作者报告该处理延迟了失败恢复,并在其无诱导失败的抓取放置评测中保留任务表现;这不等于证明恢复能力被彻底移除。
点评
提供了从内部特征干预到训练数据归因的行为塑形路径,使可解释性分析与特定行为修改相连接。
部分干预仅做开环评测,BSF 并非全面优于 SAE;恢复实验正文与表 2 的试次数、重开时间不一致,因此不采用其倍数结论。
版本与核查范围
版本 2610.20767v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p4.1;#S1.p4.1;#S2.SS0.SSS0.Px2.p2.1;#S2.SS0.SSS0.Px4.p1.3;#A2.SS1.p1.1;figcaption[57];#S3.SS2.SSS0.Px2.p1.1;figcaption[62];#S4.SS0.SSS0.Px1.p1.1;#A1.SS0.SSS0.Px3.p1.1;#S4.SS0.SSS0.Px2.p1.1;#S5.p1.1
