内容摘要
把瓶子直立放到盘上、用海绵擦桌时,机器人需要保留任务要求,而非照搬视频轨迹。生成视频恢复出的动作通常只对应一个场景。作者提出V2-STRep,将其转成可复用的结构化任务表示,让已获取的技能适应新场景和兼容指令,无需重新生成视频。
系统用视觉语言模型(VLM)识别动作阶段、参照对象和姿态约束,再用彩色与深度图像(RGB-D)把二维线索还原成三维目标几何与候选抓取姿态。规划时联合选择抓取与完整轨迹:例如放瓶子时保持直立,但允许绕瓶身轴旋转,为满足关节限制留出余地。
作者在Panda机械臂上测试六项操作任务。基线比较共享生成视频,并统一提供可行抓取配置、跳过抓取生成与选择;V2-STRep成功25/30次,NovaFlow和Dream2Flow分别为12/30和8/30。另一组跨场景测试启用自身抓取流程,成功29/30次,但前提是源技能已成功获取,不能视为端到端成功率。更改指令后的复用仅有三个定性案例,且要求兼容原有目标几何类型和动作阶段结构。
点评
对机器人软件开发者,其参考价值是把必须保持的任务约束与可供规划调整的运动自由度分开表达,而不是要求机器人逐帧追随全部视频姿态。
证据为作者论文实验,不能视为独立复现。跨场景结果以源技能获取成功为前提;深度误差仍可导致抓取失败,指令复用仅作定性评估。
版本与核查范围
版本 2609.20582v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 page:1;page:1;page:1;page:4;page:2;page:3;page:5;page:6;page:6;page:6;page:6;page:6
