内容摘要
视觉模仿策略既要识别操作相关区域,也要在多个候选物体中选中语言指定目标。作者提出ResCue,将语言目标转为掩码,以显式空间提示连接目标定位与动作学习,同时保留RGB场景信息。
其关键是独立编码掩码并进行空间残差融合:语言解析器提取目标描述,SAM 3生成掩码;提示特征在后续视觉处理及池化之前,与RGB空间特征逐位置相加。作者以扩散策略(DP)实现该方法,定位模型保持冻结,训练和评测均使用预测掩码。
作者报告,15项仿真任务的平均成功率为56.5%,DP和π₀分别为33.1%和40.7%;三项真机双臂任务为60.0%,π₀为31.7%。相同掩码的消融中,残差融合优于像素叠加、输入拼接和池化后融合;测试时换成错误目标掩码,成功率降至24.6%。这些比较限定于论文协议:基线使用相同任务数据、按官方方案微调,仿真每任务评测100回合,真机20次;各任务单独训练策略,自定义仿真评测仍使用训练物体。
点评
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
实验仅验证DP,不能据此外推跨策略架构的有效性或通用操作能力。作者报告透明、强反光及严重遮挡物体的掩码不稳定,SAM 3推理延迟也限制动态场景中的快速响应。
版本与核查范围
版本 2606.25360v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p4.1;#S2.SS1.p2.1;#S2.SS2.p1.3;#S2.SS3.p2.1;#S3.SS2.p1.1;#S3.SS3.p2.1;#S3.SS4.p1.1;#S3.SS4.p2.1;#S3.SS5.p3.1;#S3.SS1.p6.1;#S2.SS1.p1.1
