跳至正文
原文导读 · 原标题中译

SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿

SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation

材料发布 2026-09-29 · arXiv · 作者论文 · 核查 2026-10-18
图2:SAKI 的技能组装与闭环执行。物体—角色绑定(object-role bindings)把可复用技能落到当前场景中,全身优化(whole-body optimisation)生成协调的机器人运动。被接受的视觉更新修正剩余目标,而替换方案保留已确定的运动。底座与手臂的成对完成事件以及夹爪事件推进序列;保留的场景估计与上一终止时刻的机器人构型用于初始化下一次接近动作。 图片出处
图3:技能准备将交互需求与可调运动相分离。物体角色、阶段与接触要求指导面向场景依赖执行的参考动作准备与抓取准备。图中的曲线与接触均为示意图;插图显示运动学回放。 图片出处

内容摘要

人类视频中的交互若要用于长时程移动操作,机器人需要在场景、视角和自身构型变化时复用技能,而非照搬演示路径。作者提出SAKI,将视频技能获取、跨演示组装和闭环全身执行连接起来。

其核心是将交互要求与可调整运动分离:保留接触、抬升净空、朝向及终态关系,允许转运路径随布局改变。系统依据给定目标和任务依赖选择、排序技能,将物体角色绑定到当前场景,再以全身优化生成底盘与机械臂运动。执行时保留跨视角物体估计,视觉更新只修改未执行轨迹,并在技能切换时传递前一技能的终末机器人构型。

作者真机实验中,连续序列完成率为31/45(68.9%)。保留场景绑定、全身优化、视觉更新和重规划,仅以重建轨迹直接插值替代任务条件参考准备时,完成率为7/45(15.6%);论文报告准备环节带来53.3个百分点提升。实验依赖校准双目演示、任务上下文及兼容抓取或接触信息;序列成功要求所有阶段完成,且无中途重置或人工协助。

点评

作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。

结果按作者论文实验解读,不作为独立复现结论。技能组装使用给定目标与依赖,准备还需兼容几何和接触模型;证据不宜外推为无先验的通用任务规划能力。

版本与核查范围

版本 2609.36031v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 h1[1];#abstract1.1;#S1.p3.1;#S3.SS2.p1.1;#S1.p4.1;#S3.SS4.p2.1;#S4.SS2.p2.1;#S4.SS3.p1.1;#S4.SS1.p1.1;#S4.SS1.p2.1;#S3.SS1.p3.1