内容摘要
人类视频中的交互若要用于长时程移动操作,机器人需要在场景、视角和自身构型变化时复用技能,而非照搬演示路径。作者提出SAKI,将视频技能获取、跨演示组装和闭环全身执行连接起来。
其核心是将交互要求与可调整运动分离:保留接触、抬升净空、朝向及终态关系,允许转运路径随布局改变。系统依据给定目标和任务依赖选择、排序技能,将物体角色绑定到当前场景,再以全身优化生成底盘与机械臂运动。执行时保留跨视角物体估计,视觉更新只修改未执行轨迹,并在技能切换时传递前一技能的终末机器人构型。
作者真机实验中,连续序列完成率为31/45(68.9%)。保留场景绑定、全身优化、视觉更新和重规划,仅以重建轨迹直接插值替代任务条件参考准备时,完成率为7/45(15.6%);论文报告准备环节带来53.3个百分点提升。实验依赖校准双目演示、任务上下文及兼容抓取或接触信息;序列成功要求所有阶段完成,且无中途重置或人工协助。
点评
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
结果按作者论文实验解读,不作为独立复现结论。技能组装使用给定目标与依赖,准备还需兼容几何和接触模型;证据不宜外推为无先验的通用任务规划能力。
版本与核查范围
版本 2609.36031v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 h1[1];#abstract1.1;#S1.p3.1;#S3.SS2.p1.1;#S1.p4.1;#S3.SS4.p2.1;#S4.SS2.p2.1;#S4.SS3.p1.1;#S4.SS1.p1.1;#S4.SS1.p2.1;#S3.SS1.p3.1
