内容摘要
遥操作机器人时,操作者往往不会先给一句指令;想让机器人中途接手,系统就得自己从画面判断对方正在做什么、想达成什么。论文把意图拆成两层:当前原子动作(ongoing action, OA)和它服务的更宏观目标(ongoing mission, OM),并要求在动作尚未完成、只看过很短一段遥操作历史时就给出判断。
为此作者构建了数据集 VI AMO:6,600 个操作片段,来自十一个机器人数据源,含 13,653 条时间对齐的动作标注和 9,702 条目标标注。标注流程分五步:GPT-5.6 Sol 先把片段指令拆成有序原子动作、把相邻动作归并到同一目标,Qwen3.7-Plus 做粗时间定位和边界细化(用到夹爪开合信号),最后约 50% 的片段经人工复核。
作者在 VI AMO 上微调得到意图模型 VIM,骨干是 Qwen3.5-27B 视觉语言模型。在 VI AMO 测试集上,动作与目标的 Sentence-BERT(句向量语义相似度)分别为 0.825 与 0.821,而基线中最好只有 0.581 与 0.564;在训练中两个标签都未出现的 35.4%(386/1,091)测试动作上仍有 0.726 与 0.717。
下游应用是共享自主:VIM 预测出的目标由操作者确认后,作为 VLA(视觉-语言-动作策略)的语言指令让机器人继续执行。真机评测用 Franka Emika Panda 机械臂、五个共享自主操作任务,与 GPT-4o、GPT-5.6 Luna 和全程遥操作对照,每任务五次试验。VIM 在每个任务上的遥操作时间都少于两个 GPT 基线,平均相对 GPT-4o 减少 34.6%、相对 GPT-5.6 Luna 减少 39.8%;单次意图预测延迟 0.70–0.81 秒,相对两个基线分别下降 76.9% 与 63.8%。扫地任务中两个 GPT 模型都没给出可用意图,该任务保持全程遥操作。
点评
对做遥操作辅助和共享自主的团队,这篇工作给机器人补了一层“意图接口”:原本语言条件策略必须等人事先给一句指令,现在可以由模型只看遥操作画面反推当前要完成的子目标,操作者确认后再交给策略执行。对机器人本体软件程序员来说,这一层的产物就是一句目标描述,可以直接作为已有 VLA 的语言指令输入;代价是每次接管前多一次模型调用——作者在真机上报告单次意图预测 0.70–0.81 秒。作者认为延迟本身有实际意义:许多操作动作在几秒内完成、行程较短,超过两秒的延迟会让推断出的意图落后于机器人当前状态,使接管难以进行。数据集、标注流程和 VIM 权重按作者声明将发布在项目主页。
结论与数字均出自作者自报(arXiv v1 预印本),本次材料中未见第三方复现或独立验证。论文对意图预测报告的是 SBERT 这类文本相似度指标,真机部分报告的是人工遥操作时间和模型延迟,本次材料中未出现任务成功率或安全相关指标。作者自述的限制包括:模型仍会出错且缺少置信度校准,可靠判断预测何时可信仍是开放问题;数据集评测假设动作边界预先给定,未评估实时遥操作中的在线边界检测;VLA 执行动作比熟练操作者慢,因此减少手动控制不必然等于缩短任务总时长。真机部分只覆盖五个任务、每任务五次试验;扫地任务中两个 GPT 基线都没给出可用意图、该任务全程遥操作;接管仍需操作者确认预测出的目标,并非完全无人干预。作者声明将发布 VI AMO、标注流程和 VIM 权重,本次材料中未见已发布的证据。
版本与核查范围
版本 2611.16419v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S4.SS1.p2.1;#S1.I1.i2;#S4.SS2.p3.1;#S5.SS3.p3.1;#S4.SS3.p2.1;#S5.p1.1;#S5.SS5.p5.1;#S5.SS6.p1.1;#S6.p2.1;#S1.p6.2
