内容摘要
视觉-语言-动作(VLA)模型要为每个新任务和新机器人重新微调,但收多少数据、训多久、选哪个检查点常靠猜。这篇论文把问题缩到一个具体任务:SO-101 低成本机械臂按只有格名的指令把国际象棋王搬到目标格,既要精确夹取又要理解棋盘空间。作者在遥操作演示和仿真演示上微调 π0.5,仿真演示来自模仿人类抖动的随机化脚本专家。
做法是把仿真做成真机的孪生环境:可产出任意数量演示,并让每个模型在同一套 1000 次闭环试验上被评测。
仿真中成功率随数据量和训练步数一起上升;10k 条演示时,末段把学习率冷却到零的分支在 165k 步达 60%,其分叉处的恒定学习率检查点只有 29%,冷却最多值 31 个百分点。离线指标不可信:按验证损失选会选到零成功率的模型,开环动作误差虽单调下降也分不出模型。
真机结果作者自标为部分结果,十个模型各 25 次试验:仿真预训练初始化更好,真实数据越少差距越大——128 条演示时成功 18/25 对 2/25,32 条时基座初始化从未抓住棋子。在策略自身轨迹上继续训练(过滤行为克隆、优势条件标注、自动教练纠正、残差强化学习)都未测出优于纯行为克隆。仿真器、脚本专家和真机演示数据由作者开放。
点评
对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。
结论来自单一任务、每个设置只训练一次,脚本专家与人类演示的相似性没有严格量化;RECAP 变体省略了原方法的优势条件预训练与人工纠正,负结果只覆盖简化版本;真机每个模型仅 25 次试验,作者自己声明只解读大的差异,统计证据有限;真机策略因部署推理延迟以示范速度的三分之一运行,仿真器也未建模打印连杆的柔性与真实控制器插值方式。本次证据是 arXiv v1 的单版本全文快照,没有滚动页或版本更新目录可比对,之后的修订未纳入;文中数字均为作者自报实验,开放的仿真器与演示数据也由作者自行发布。
版本与核查范围
版本 2611.12676v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p3.1;#abstract1.1;#S3.SS1.p6.1;#S3.SS1.p7.1;#S3.SS1.p5.1;#S3.SS3.p2.1;#S3.SS3.p4.1;#S3.SS3.p5.1;#S3.SS2.p4.1;#S5.p2.1;#A7.p1.1
