跳至正文
原文导读 · 原标题中译

ResCue:用于语言条件模仿学习的残差空间提示

ResCue: Residual Spatial Cueing for Language-Conditioned Imitation Learning

材料发布 2026-10-03 · arXiv · 作者论文 · 核查 2026-10-18
图2(原 Figure 2):ResCue 流程与评测任务。(a) 语言解析器(language parser)提取目标描述,文本条件分割器(text-conditioned segmenter)预测其图像空间掩码。(b) 独立的掩码编码器(mask encoder)提供显式的目标特征,同时 RGB 图像流保留场景上下文与物体特有的视觉信息。残差融合(residual fusion)在后续视觉处理之前将这两路特征流合并,得到以目标为条件的表征。(c) 该表征与本体感知(proprioception,机器人自身状态的感知信息)共同条件化动作策略,生成机器人动作。(d)–(f) 仿真示例覆盖标准操作、跨物体操作与指令引导的目标选择。(g)–(i) 真实世界双臂(bimanual)任务包括餐桌布置(Table Setting)、桌面清理(Desktop Cleaning)与双臂分拣(Bimanual Sorting)。 图片出处

内容摘要

视觉模仿策略既要识别操作相关区域,也要在多个候选物体中选中语言指定目标。作者提出ResCue,将语言目标转为掩码,以显式空间提示连接目标定位与动作学习,同时保留RGB场景信息。

其关键是独立编码掩码并进行空间残差融合:语言解析器提取目标描述,SAM 3生成掩码;提示特征在后续视觉处理及池化之前,与RGB空间特征逐位置相加。作者以扩散策略(DP)实现该方法,定位模型保持冻结,训练和评测均使用预测掩码。

作者报告,15项仿真任务的平均成功率为56.5%,DP和π₀分别为33.1%和40.7%;三项真机双臂任务为60.0%,π₀为31.7%。相同掩码的消融中,残差融合优于像素叠加、输入拼接和池化后融合;测试时换成错误目标掩码,成功率降至24.6%。这些比较限定于论文协议:基线使用相同任务数据、按官方方案微调,仿真每任务评测100回合,真机20次;各任务单独训练策略,自定义仿真评测仍使用训练物体。

点评

作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。

实验仅验证DP,不能据此外推跨策略架构的有效性或通用操作能力。作者报告透明、强反光及严重遮挡物体的掩码不稳定,SAM 3推理延迟也限制动态场景中的快速响应。

版本与核查范围

版本 2606.25360v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p4.1;#S2.SS1.p2.1;#S2.SS2.p1.3;#S2.SS3.p2.1;#S3.SS2.p1.1;#S3.SS3.p2.1;#S3.SS4.p1.1;#S3.SS4.p2.1;#S3.SS5.p3.1;#S3.SS1.p6.1;#S2.SS1.p1.1