内容摘要
这篇论文处理的是一个很具体的工程问题:人形或轮式机器人做“边走边操作”的任务(论文里的 whole-body loco-manipulation,移动与精细操作必须同时进行)时,策略通常只能靠把模型做到几十亿参数、再逐个任务微调才拿到能力。作者 Body Schema Policy(BSP)想试另一条路:把人体运动控制里的“身体图式”(body schema,大脑对自身身体结构、姿态与运动的内部表征)做成策略内部显式的结构,而不是指望网络从示范数据里自己猜出来。
机制上做了三件事:把关节和连杆做成 token(向量化的身体部位标记)放在机器人的运动学树(刻画父子连杆关系的树)上,用学习到的螺旋运动(screw motion,把绕轴旋转与沿轴平移合成一个变换)在连杆之间搬运特征;每个身体部位用自己的 token 到预训练视觉编码器的图像分块特征上检索证据,检索到的证据只给自己那几维动作去噪。这样“哪个关节在动”与“画面哪块区域跟这个关节有关”在网络里是显式分开的。
作者自报的结果(arXiv 预印本,未见独立复现):在九个仿真 Unitree G1 全身任务上,表中部署参数量 35.0M 的 BSP 总分 221,与 2.63B 参数的 Ψ0 的 220 基本持平,参数少约 75 倍,单个动作块 13.9 ms;真实 G1 的两个任务各 10 次试验合计成功 16 次(Ψ0 为 13 次,Diffusion Policy 为 3 次);Fetch 移动机械臂三个子任务成功率 34.4%/20.6%/16.5%,高于同规模的两个对比方法,与 3.62B 参数的 π0.5 持平或更好。
速度来自收敛快:作者报告在每个任务 256 个训练帧上,去噪五步后下一个动作的中位误差已低于 2°(同尺寸 Diffusion Policy 为 7–12°),因此十步 DDPM 就够用;部署侧的做法是缓存与观测相关的视觉 key/value,并把每轮去噪作为捕获的 CUDA graph 重放,16 步动作块在 RTX 6000 Ada 上 13.9 ms。消融给出的读法是:潜在身体图式、身体查询视觉、DINOv2 编码器三项全开时三个任务总分 75,三项全部替换后掉到 20;把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,说明结构不能替代一个好的预训练视觉特征。作者还观察到不同部位读画面的区域不同:在 LPBT 上手臂、手和腰关节把 31–46% 的敏感度放在只占画面 10–15% 的箱子上,底盘指令则读整个场景。
点评
对做本体和控制软件的工程师,这篇论文给出的东西更像一份结构说明加一组部署数字。
第一,策略接口的形态。论文把机器人建模为以根为起点的运动学树:直接控制的关节构成连通子树并带父子关系,底盘速度这类交给底层控制器的命令作为“离树”坐标单独处理;论文也明确说本体和底层控制器决定策略的命令空间。所以迁到新本体时,主要工作量是把关节层级、指令语义与底层控制器接口对齐,而不是去收集大规模预训练数据。另外策略输出的是关节目标,工程上仍然需要一个能稳定跟踪关节目标的全身控制器——真机实验中三个策略都通过关节空间控制策略 HoloMotion v1.4 控制从腿到手指的全部 43 个关节。
第二,延迟与规模的量级。仿真评测里一个动作块(16 步)13.9 ms,真机所用主机上 17.4 ms;服务路径的做法是缓存与观测相关的视觉 key/value、并把每轮去噪作为捕获的 CUDA graph 重放,这套部署侧做法可以直接照抄。它还意味着策略按“执行完整个预测动作块再取下一次观测”的方式工作,接进现有控制回路时需要按这个节奏安排观测频率。
第三,可诊断性。每个部位读画面的区域不同,而且这种分工不是人工标注监督出来的;排查某个关节动作异常时可以直接看该部位的敏感度落在画面哪里,也能理解为什么手部指令需要局部细节、底盘指令需要全局视野。同时要清醒:这套结构不能顶替视觉表征——把 DINOv2 换成从头训练的 ResNet-18 会让总分大约减半,所以换本体或换视角时仍要准备好高质量预训练特征与相应适配工作。
限制按原文所述:受算力限制,SIMPLE 上的训练与评测没有扩展到更多随机种子;方法依赖关节指令具备运动学含义,作者报告在 SONIC、BFM-Zero 这类用潜在坐标(不对应具体身体部位)指挥的全身控制器上,潜在身体图式的效果弱于关节空间控制,因此不能直接搬到这类控制器上。此外 Fetch 三个子任务的绝对成功率本身不高(表中最好的 BSP 为 34.4%/20.6%/16.5%),真机实验每个任务也只有 10 次试验(表 3 题注所述),统计余量有限。
以下属于我的判断而非原文陈述:这是一篇 arXiv 预印本,上述成功率、延迟与消融数字均为作者自测,未见独立复现;表内比较只在作者设定的评测器与硬件配置下成立,不构成跨方法、跨协议的通用排名;与 Ψ0、π0.5 的对比是在各自预训练与评测条件不同的前提下做的,不宜等同于“通用能力更强”。
版本与核查范围
版本 2611.22713v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S3.T1.8;#S3.SS5.p1.1;#S4.SS4.SSS0.Px2.p1.1;#S4.T3.5;#S4.SS1.SSS0.Px3.p1.1;#S4.T2.5;#S3.SS1.SSS0.Px2.p1.1;#S4.T4.6;#S4.SS3.SSS0.Px3.p1.1;#S4.SS4.SSS0.Px3.p1.1;#S6.p1.1
