跳至正文
原文导读 · 原标题中译

ICI-VLA:面向视觉—语言—动作模型、利用时空对齐示范的上下文模仿

ICI-VLA: In-Context Imitation with Spatiotemporally Aligned Demonstrations for Vision-Language-Action Models

材料发布 2026-09-07 · arXiv · 作者论文 · 核查 2026-10-19
图2:ICI-VLA 总体框架。(I) 库构建:把长时程轨迹分解为固定时长的微演示(micro-demonstration)。(II) 检索对齐:语义过滤与基于 DTW(动态时间规整)的排序挖掘对比三元组;在推理时,冻结的 RD-Encoder 仅依据可观测输入进行检索,不使用目标动作。(III) 策略训练与推理:Qwen3-VL-4B 在不接入动作专用输出头的情况下微调,同时 Target Action Masking(目标动作掩码)降低对精确数值续接的依赖。推理阶段策略与检索器均保持不变,适配通过检索到的上下文完成。 图片出处

内容摘要

VLA适应新操作场景通常需要额外更新参数,数据或算力不足时会限制部署。作者提出ICI-VLA,以检索示范作为测试时上下文:参数只在离线训练时更新,推理时策略与检索器均冻结,保留原生文本生成接口,以数值文本输出动作,而非增加专用动作头。

方法将长轨迹拆成带语义标签的微示范,通过语义筛选和动态时间规整(DTW)挖掘监督信号,训练RD-Encoder,使检索兼顾子任务语义、阶段与运动几何。DTW仅用于离线训练,推理不读取查询的目标动作。目标动作掩码在训练时破坏部分动作前缀,降低对精确数值续写的依赖;其是否促使模型更多利用当前观测,仍是作者假设。

作者报告,LIBERO与RoboTwin 2.0平均成功率分别为97.7%和60.4%;四项双臂Aloha真机任务平均为83.2%。默认推理检索三条示范,属于少样本上下文适配而非零样本。仿真每任务评估10次,真机每任务250次;这些结果应在相应测试条件下理解。

点评

作者实验支持将时空对齐示范作为固定策略的测试时适配输入;消融中,移除掩码、DTW或语义筛选均降低成功率。

方法仍依赖示范与规划器覆盖,并有离线训练及检索成本。外部基线沿用各自协议,不能将跨论文差值视为受控配对证据;消融也不能证明模型形成了显式残差计算。

版本与核查范围

版本 2609.07581v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;figcaption[33];#S3.SS1.p2.1;#S3.p1.1;#S1.p4.1;#S3.SS3.SSSx2.p3.2;#S3.SS3.SSSx3.p2.2;#S1.p5.1;#S3.SS3.SSSx3.p1.1;#S3.SS3.SSSx3.p3.1;#S4.SS1.p2.1;figcaption[89]