跳至正文
周报

让策略失效被及时发现、让耗时可分段拆解、让训练预算重新分配

这一期挑了三个直接落在部署与训练现场的问题:策略跑偏时能否被及时发现、抓取与模型式控制的耗时怎么拆开算、训练期的算力与数据预算该怎么分配。每条都给出可对照的实验条件与适用边界,方便判断哪些结论能直接用在现有机器人栈上。

20 条重要信息08 个一级领域30 个二级节点
报告范围与核查说明

历史回顾 · 北京时间 · [start, end)
覆盖 2026-11-06T11:00:00+08:00 → 2026-11-13T11:00:00+08:00
按事件窗口编制,知识地图按需修订。
证据核查日期 2026-11-15。作者论文与官方材料不等于独立复现。

本期重点

02世界模型

SuperMimic:用单个可微世界模型扩展人形机器人全身控制

任务:训练一个能跟踪十万级人体动作片段的通用人形全身控制器,瓶颈在算力而不是控制算法。现有主流做法是无模型强化学习(model-free RL:不显式建模动力学,靠反复采样仿真来估计动作后果),要么逐个动作训练专家再蒸馏合并,要么用集群算力暴力训一个通用策略,动作库越大训练越贵;作为对比的 SONIC 在 128 张 GPU 上训练约 168 小时,合计约 21,000 GPU 小时。

展开阅读
03运动与控制

cuRoboV2-Fast:面向力矩受限无碰撞运动规划的快速规划器

机械臂抓取要快,瓶颈常在两处:规划算得慢,轨迹执行得慢。带负载时动力学会变,原本可行的轨迹可能不再可行;路径短也不等于执行快,受执行器力矩限制时短路径只能慢慢走。这篇 NVIDIA 的 arXiv 论文提出 cuRoboV2-Fast,目标是在单张 GPU 上同时压低规划延迟与执行时间。

展开阅读

这期覆盖哪些图谱

一级领域覆盖

关联主题

通用基础模型 1
具身模型 2
VLA 7
世界模型 5
分层与组合 1
路线演进 1
数据采集 4
数据工程 1
数据使用 1
仿真与 Sim2Real 6
训练方法 5
适配方法 5
推理优化 4
模型运维 1
机器人形态 1
感知器件 1
运动与控制 5
操作能力 4
工程限制 1
触觉交互 1
人机协作 1
分层架构 2
通信与运行时 1
任务执行 1
权限与控制 1
开发工具 1
云与训练生态 1
能力评测 1
真机/仿真基准 13
安全 1

20 条重要信息

012026-11-11 · arXiv · 作者论文进度探针 P²:面向视觉-语言-动作模型的轻量级运行时监控
图 1:进度探针(Progress Probes,P²)直接从 VLA(视觉—语言—动作模型)的内部激活中解码任务进度。仅使用成功示范,为每个时间步分配一个归一化进度 ζ_t,并拟合一个线性探针(linear probe,即在冻结特征上训练的简单线性分类/回归器)来从第 i 层的激活 z_t^i 预测该进度。运行时,成功执行沿预期进程推进,而失败执行会使解码出的进度滞后或偏离这一标称轨迹。因此,策略自身的表征就足以构建一个轻量级运行时监控器,既不需要失败数据,也不需要外部基础模型。 图片出处
图 3:硬件实验——运行时监控。展示用于失败检测的回合级(episode-level)与状态级(state-level)AUROC(ROC 曲线下面积,衡量区分失败与成功样本能力的指标)。P² 在两个层级上均表现出较强的可分性,可用于运行时监控。 图片出处

VLA(视觉-语言-动作模型)能直接从图像和自然语言指令执行操作任务,但失败常常突然发生。无人值守部署需要一个运行时监控器在策略跑偏时报警,而现有做法通常另挂一个视觉语言模型(VLM)给策略打分,带来额外复杂度和算力开销。

这篇论文改为直接读策略自己的内部激活:在只有成功演示的轨迹上,用一个随时间递减的进度标签(自动生成,不需人工标注)训练线性进度探针,从 VLA 某一层的激活向量解码当前进度;运行时把探针读数与成功轨迹对应的标称进度相比,落后超过阈值即判失败。探针只用成功数据训练,推理时复用策略前向本来就算好的激活,几乎不增加计算。

在开源策略 π0.5 的 VLABench 仿真中,探针推理延迟为 2.6×10⁻² ms,是各基线里最低的;失败判别的 episode 级 AUROC 0.909、状态级 0.788,不用失败标签即与需要额外失败数据训练的 SAFE 相当。相比 4B 参数的 VLM 基线 Robometer,探针只微调约 2K 参数、推理快 10,000 倍以上;平均在 0.60 个 episode 处才发出失败警报,与显式建模时序的 SAFE-LSTM(0.53)接近。

真机实验用 Franka 机械臂和 6 个操作任务,探针在 episode 与状态级 AUROC 上都高于全部基线;在留出任务上重训再测,平均状态级 AUROC 0.81。作者也写明限制:结果只来自 π0.5,探测的是 VLM 主干,带扩散或流匹配动作专家的 VLA 是否适用尚未验证。

点评

对做机器人本体软件和部署的工程师,这是一个几乎零额外开销的失败检测手段:在现有 VLA 推理链路上挂一个只读内部激活的线性探针,用少量成功演示训练即可判断策略是否跑偏,无需收集失败数据,也无需再部署一个视觉语言模型来打分。

结论均出自作者自评的 arXiv v2 预印本正文,本次材料未包含第三方独立复现;实验只覆盖 π0.5 一个策略和它的 VLM 主干,带动作专家的 VLA 未验证,且检测性能随任务差异明显。arXiv 版本与列表页会滚动更新,具体数值应以该版本正文表格为准。

02arXiv2026-11-10 · arXiv · 作者论文SuperMimic:用单个可微世界模型扩展人形机器人全身控制

任务:训练一个能跟踪十万级人体动作片段的通用人形全身控制器,瓶颈在算力而不是控制算法。现有主流做法是无模型强化学习(model-free RL:不显式建模动力学,靠反复采样仿真来估计动作后果),要么逐个动作训练专家再蒸馏合并,要么用集群算力暴力训一个通用策略,动作库越大训练越贵;作为对比的 SONIC 在 128 张 GPU 上训练约 168 小时,合计约 21,000 GPU 小时。

这次的变化:换掉策略更新的来源。用仿真器记录的转移数据拟合一个可微世界模型(可以对动作直接求导的神经动力学模型),让它承担策略更新:世界模型与跟踪策略在同一个循环里交替训练,策略在冻结的世界模型上做短程「想象 rollout」(在模型内部推演若干步,不占用仿真器算力),通过按时间展开反传(BPTT)拿到解析梯度。因为梯度来自学到的模型而不是对仿真器求导,带非光滑接触、不可微实现的刚体仿真器仍然可用。

结果:单张 H100 训练 3 小时,归一化回报(按每步奖励求和后除以该和的最大可能值归一化)就超过 SONIC 已发布检查点;在一个 129,514 条动作的基准上,单卡 3 小时失败 25 条,两卡 9.8 小时后无失败动作,SONIC 已发布检查点失败 179 条。作者把算力差距换算为墙钟时间约 56 倍、GPU 小时约 7200 倍,并说明训练数据量(264.56 小时对 611 小时)与 H100 相对 L40 的峰值吞吐差异不足以解释这个差距。在 LAFAN1 数据集上的受控对照中,SuperMimic 单卡 1.2 小时评估回报达 0.82,直接在仿真器里跑 PPO 的对照基线 PPO-Sim 在 18 小时预算内没达到,最终回报为单卡 0.60、四卡 0.70、八卡 0.72。世界模型的 8 步预测误差在数据规模扩到 264 小时的过程中保持在 0.007–0.011,其 rollout 在实际使用的批量规模下比论文所用的仿真器 MuJoCo Warp 快 10 倍以上。作者还把一个通用动作跟踪器部署到真实 Unitree G1 上、未做逐动作调参,演示动作覆盖移动、躯干与四肢着地的接触丰富全身动作,以及杂技动作。

点评

对做本体控制栈和训练基础设施的工程师,这篇论文变动的是成本结构:策略更新不再吃仿真器吞吐,rollout 在神经动力学里完成,所以「加卡换提升」这条经验不再成立——对照里 PPO-Sim 从四卡到八卡几乎无增益,而 SuperMimic 单卡 1.2 小时就达到目标回报 0.82;作者报告的对照基线 SONIC 需要 128 张 GPU 跑约 168 小时、约 21,000 GPU 小时。训练栈上要接的东西相对明确:从仿真器记录的转移拟合一个共享的可微世界模型,与策略交替更新;仿真器本身不需要可微,现有的刚体仿真器可以原样保留,这一点对已有 MuJoCo 系仿真管线的团队尤其重要,因为接触不光滑的刚体仿真本来就难做梯度。部署侧的证据是作者自己的真机演示(Unitree G1,一个通用跟踪器、不做逐动作调参,覆盖移动、接触丰富动作和杂技动作),属于论文报告的落地结果,不是厂商声明,但目前只到定性演示层面,没有实机的量化指标。另一条对写控制栈的人有用的经验是价值网络(critic,用于估计想象视野之外的回报)的作用:作者报告带 critic 时可以在更短的想象视野下训练,而且仿真推扰下带 critic 的策略能站稳、不带 critic 的会持续踉跄并在更高推扰速度下摔倒——不过这只是仿真证据,作者没有给出实机推扰的量化对比。

算力对比由作者自报,对照基线只有 SONIC 一个;作者用训练数据量(264.56 小时对 611 小时)和 H100/L40 的峰值吞吐(fp32 0.74 倍、张量核 5.5 倍)差异做了一轮论证,并明确说明两次训练各自用了多少峰值吞吐无法得知。评测用的是双方共同的训练动作集,失败数只反映各策略对这些训练动作的覆盖程度,不能说明对新动作的泛化。世界模型只从仿真器转移数据学习,真实机器人数据尚未用于改进它;训练只在平地上进行,未涉及地形与物体交互。真机只做了动作跟踪的定性演示,推扰恢复的对比停留在仿真层面。本材料为 arXiv PDF 的文本解析版,表格与图形几何未重建,图表数值只能依据正文与图注。

032026-11-10 · arXiv · 作者论文cuRoboV2-Fast:面向力矩受限无碰撞运动规划的快速规划器
图 17:在一块 RTX 6000 Ada GPU 上进行的真机机器人操作。SceneFields 提供深度、检测结果与机器人掩码(mask);其生成的地图为 GraspGenX 提供物体表面信息,并为 cuRoboV2-Fast 提供碰撞距离。我们的规划器选定一个抓取位姿,并在 23 毫秒内规划出无碰撞、满足力矩限制的预抓取、接近与抬升运动。当需要时由 RRT(快速扩展随机树,一种采样式路径规划算法)为轨迹优化提供初值;转移(transfer)动作另行规划。 图片出处
图 19:使用 cuRoboV2-Fast 在真机上完成 YAM(Yaskawa Arm Motoman)桌面清理与料箱取件。统计基于 53 条已完成序列的平均单周期耗时构成;其中规划仅占 1.0%,该比例已包含规划失败调用以及每个周期内的重试。“其他”一栏包括剩余处理与等待时间。 图片出处

机械臂抓取要快,瓶颈常在两处:规划算得慢,轨迹执行得慢。带负载时动力学会变,原本可行的轨迹可能不再可行;路径短也不等于执行快,受执行器力矩限制时短路径只能慢慢走。这篇 NVIDIA 的 arXiv 论文提出 cuRoboV2-Fast,目标是在单张 GPU 上同时压低规划延迟与执行时间。

方法有三处改动:用三次 B 样条做轨迹优化,100 条 MotionBenchMaker 查询上初始 25 次迭代即达 93% 验证成功率,同期 cuRoboV1 为 64%;路径初始化换成 GPU 并行 RRT,平均 0.305 ms、初始化成功率 98.68%;TimeOpt 负责"同一条路径上怎么走更快",把路径速度的平方写成一条 B 样条,用带状 Newton 方程组在 GPU 上求解,比统一时间步细化再降 15.7% 平均运动时长;可微逆运动学让负载的质量、质心、惯量在运行时更新,换负载不用重新编译。

整机结果:3 kg 负载下 RTX 5090 平均规划 4.43 ms,比 cuRoboV2 快 14.7 倍;Jetson AGX Orin 上 25.99 ms,比 cuRoboV2 快 23.2 倍。真机部分是 YAM 的桌面清理与抓取,感知、抓取生成和规划放在同一块 GPU 上,平均完成循环 5.93 s,比 cuRoboV2 短 34.6%,机械臂执行时间降 44.8%,规划只占循环时间 1.0%。实现以 Apache 2.0 开源。

限制:TimeOpt 以收敛到局部最小为目标,不保证全局最优;真机上实际执行速度仍可能超过速度上限,说明力矩约束要和速度约束一起规划。同组对比里 VAMP+TOPPRA 虽更快,但成功率更低且计时不含 IK;所有数字均出自作者自测基准与自研工具链,本次材料未包含独立第三方复现。

点评

对机器人本体软件工程师,这套思路的实用价值在于把"规划耗时"和"执行耗时"拆成两个独立指标分别处理:TimeOpt 在几何不变的前提下重分配时间,可微逆动力学把负载参数变成运行时数据,同一套规划栈即可覆盖变负载任务;Jetson AGX Orin 上 25.99 ms 的规划时间也说明这类规划器能放进嵌入式部署链路。代码以 Apache 2.0 许可放在 NVIDIA 的 cuRobo 仓库中,可作为开源组件接入现有规划服务。

TimeOpt 以收敛到局部最小为目标,不保证全局最优;真机上实际执行速度仍可能超出速度上限,仅做速度约束的规划并不可靠;对比中 VAMP+TOPPRA 更快但成功率更低且计时不含 IK。全部数据来自作者自测基准与自研工具链,本次材料只有该 arXiv 论文及其官方代码说明,未包含独立第三方复现。

042026-11-06 · arXiv · 作者论文用规划器验证的反事实测试审计抓取可行性预测器
图 1:反事实测试。(左)一个可行的抓取。(右)当一个立方体(红色)被插入该抓取的接近路径后,同一抓取变为不可行;从立方体表面采样的点被加入点云(point cloud,即三维空间中的离散点表示)输入中。分类器 GraspFC-PTX 在两种场景下仍给出相同的预测 p(可行)=0.86。在 1,065 对此类样本上,其反事实配对 AUROC 为 0.498(随机水平为 0.5)。 图片出处
图 2:在 GraspNet-1B 场景上进行的反事实协议(针对已部署的 GraspFC-PTX)。固定同一个抓取;三个障碍物(悬空的走廊箱、静止的立柱、位于通行路径上的箱体)中的每一个都会使规划器将该抓取重新标记为不可行(红色),而无障碍的抓取保持可行(绿色)。模型对四者返回了相同的 p(可行),介于 0.975 到 0.976 之间,因此其评分无法区分清晰场景与三种受阻场景。 图片出处

抓取可行性预测器常在运动规划前筛掉不可行抓取、加速任务与运动规划(TAMP:离散任务动作与连续几何运动规划的组合),在点云基准上准确率接近满分。但基准高分并不能证明模型用了运动规划器所检查的碰撞几何:自然采样的抓取常常靠姿态就能预测标签,模型可以在不读场景几何的情况下把基准刷满。

做法是规划器验证的反事实测试:保持抓取位姿不变,向接近走廊插入一个实心障碍物,把障碍物表面的点加进模型输入,再让规划器重算标签,标签由可行翻转为不可行。两个前提被验证:每次编辑都真的翻转标签,障碍物经下采样后仍留在输入中。

结果是:接近满分的八个预测器在同姿态反事实上集体落到随机水平,CF-pair AUROC 从 0.920–0.996 降到 0.470–0.504(1,065 对,接近 0.5 不是估计噪声);翻转在四种规划器、两条机械臂和真实物体障碍物上都成立。失效机制不统一:GRN 只能察觉新增几何、分辨不到包围盒以下的形状,SceneCollisionNet 只到 12.5 厘米体素,障碍物在 Conv3D 体素网格和 AGFP-Net 五路深度图中都在却被丢弃。

作为对照,一个仅 23k 参数、只在未修改基准上训练的间隙感知读取模型达到 CF-pair 0.983,说明碰撞信号本就在输入里;但它仍绑定训练时的障碍物摆位,跨摆位泛化留作开放问题。作者释出反事实标签、指标、数据卡与重标注流水线,审计新模型无需重跑规划器。

点评

这套协议补上了抓取可行性筛选环节一项常规基准给不了的检查:同一个抓取姿态,加入障碍物后被规划器判为不可行,模型分数却不动,而自然基准对此完全无感。作者把反事实标签与指标做成可离线复用的资源,第三方可对自己实现的筛选器打分,不必每次付出一次规划器调用的开销。对开发者的直接提示是:瓶颈可能在输入表示——走廊间隙有没有被编码进特征——而不只是模型规模或数据量;论文给出的间隙感知读法(CF-pair 0.983)是这条路线的一个具体起点。

边界要说清:全部标签由仿真中的规划器产生,作者使用单臂 Franka Panda 与桌面 RGB-D 场景,覆盖的机械臂、夹爪与环境有限;作者在数据卡中明确声明该基准是障碍感知的诊断工具,不是部署安全证书,高分不代表可用于真机。间隙读取模型仍绑定训练时的摆位分布,跨摆位泛化是留给后续的开放问题。另外各模型对照条件不同(GRN 用的是同包围盒形状替换而非插入,部分模型为作者重实现),不同模型的数字不宜直接横向排名。

052026-11-08 · arXiv · 作者论文HARP-Bench:在活动的人类周围评测机器人操作
图 1:HARP-Bench 的任务设计。人类活动被组织为四种评测条件。Cueing(提示)改变机器人应当做什么,Contribution(协作贡献)改变保留哪些子任务,Interruption(打断)改变机器人何时或以何种方式行动,Co-presence(共同在场)则在保持原目标不变的前提下增加运动约束。 图片出处
图 2:HARP-Bench 流程总览。每个任务都会初始化一个包含物体、机器人本体(embodiment,即机器人的形态与传感器配置)和由虚拟形象(avatar)驱动的人类活动的场景。同一套任务设置支持两种使用模式:闭环评测,其中虚拟形象事件在执行过程中发生并计算指标;以及数据生成,其中记录脚本化的交互轨迹用于机器人学习。 图片出处

现有机器人操作基准大多默认机器人是工作区里唯一的主动体;人在旁边干活时,会改变机器人该做什么、哪些物体可用、哪里能安全运动。HARP-Bench 把「人同时在场」当作操作问题本身的一部分,而不是背景噪声。

基准含 37 个任务实例,按人的作用分四类:提示(人用动作透露该做什么)、贡献(人已完成部分子任务)、打断(人临时查看或占用物体)、共处(人在旁做无关工作、只增加运动约束),每类都有配对的无人版本用于受控对比。实现用动画人形化身,化身事件在策略闭环执行中触发,并提供脚本化演示采集和 LeRobot(开源机器人学习库)兼容的数据接口。

落差明显:能看到化身位姿与事件的全状态专家成功率 0.99,拿不到这些信息的专家 0.48,学习策略低得多——最好的 π0 也只有 0.19,ACT 为 0.10。成功率高不等于更安全:ACT 反而在三项安全指标上最好(接近违规率 0.080、平均最小间距 0.133 米、碰撞率 0.102)。失败归因里操作与恢复占 60–66%,碰撞占 22–27%。

用基准自带演示逐任务训练 ACT,仿真中人在场任务平均成功率从 0.10 升到 0.15;真机 xArm 上基础策略在纯机器人任务 0.40、人-贡献 0.13,用人在场演示训练后升到 0.33,人-打断则仍为 0.00。

点评

对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。

以仿真为主:脚本化化身事件不模拟真人的连续自适应与意图变化;只覆盖桌面操作,未涉及移动操作与长时程协作,交互难度也无系统递进;成功与几何安全指标不衡量等待、绕行、识别已完成子任务等行为,仿真安全不等于部署安全;真机验证仅在 xArm 平台一项任务族上进行,人-打断场景仍未解决。

06arXiv2026-11-10 · arXiv · 作者论文学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)

商用触觉传感器(压阻式、磁性、视触觉)各自定义通道、排布、分辨率与采样率,一种传感器的读数对在另一种上训练过的模型没有意义,触觉数据也无法跨传感器汇集,因此一直缺少可用的触觉大语料。这次要补的正是"跨传感器翻译"这一层。

作者发布触觉基础模型 LingBot-Touch(arXiv:2611.12806v1):把各传感器的感知点(taxel,单个触觉单元)统一映射到规范的指尖空间,用隐空间预测目标(Tactile-JEPA)训练一个共享的 Transformer 主干;预训练语料为 5,000 小时、464K 段交互、1.33 billion 帧,来自操作者佩戴的触觉手套与遥操作机器人手,覆盖 24 类任务。

冻结编码器后接轻量探针读取接触物理:在预训练中见过的 Sharpa Wave 视触觉手上,指尖力恢复误差 0.81 N、触点中心误差 0.12 mm、接触面积误差 0.66 个百分点,作为对照的 FTP-1 分别为 2.31 N、2.19 mm、2.90 个百分点,仅凭触觉检索同一时刻视频帧的前 5 名命中率从 16.5% 升到 72.6%;换到预训练中未出现的磁性手 XHand1,不更新任何参数即达到 1.32 N、0.16 mm、0.43 个百分点、1.45 N 与 47.1% 命中率,FTP-1 配专用适配器为 3.72 N、5.89 mm、4.39 个百分点、2.00 N、6.0%。

部署侧的用法是即插即用:编码器保持冻结,其 token 追加到策略原有观测,策略本身与训练方式不改。26 个真机任务上,π0.5 成功率 48.1%→69.9%、LingBot-VLA 48.3%→73.1%、T-Rex 45.4%→68.6%、Diffusion Policy 21.6%→35.6%,作者称参数增幅远低于原策略的百分之五分之一;把同一份原始触觉信号直喂策略最多只拿到一半增益(7.0、6.6、8.2、11.2 个百分点),并在 104 组任务-策略配对中的 22 组让结果变差。仿真强化学习的十二个灵巧任务中,冻结特征平均成功率 69.0%,任务内自训的 CNN 特征 45.6%,无触觉 21.4%。

点评

对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。

验证范围限于 Sharpa Wave(视触觉)与 XHand1(磁性)两种手型、指尖区域、26 个真机任务与十二个仿真强化学习任务;电容式传感器因可用数据未达质量要求而未纳入预训练,手掌与手指其他部位的接触表征不足(作者自述限制)。编码器层面的通用对照只有 FTP-1 一项,作者为它单独训练了传感器适配器。增益并非全面:作者报告 104 组任务-策略配对中有 9 组低于直喂原始触觉信号、5 组低于原始策略。本次材料只有该论文 PDF 正文与附录,未含可运行的代码或权重,全部数字为论文作者自报,本次未做独立复现。

072026-11-11 · arXiv · 作者论文AgenticTactileVLA:无需重训VLA的接触引导执行期监督,实现可泛化的灵巧操作
图 2:AgenticTactileVLA 的系统架构。固定的 VLA 提供标称的(nominal,即未经自适应修改的)操作策略,而执行监督器(execution supervisor)监测该策略在物理上的实现情况,仅在需要自适应时才进行干预。 图片出处
图 3:诊断性接触检测(a),以及因手指剩余行程不足而导致的检测器不适用情况(b)。 图片出处

VLA(视觉-语言-动作)模型常能给出可迁移的抓取策略,却在具体物体上执行不稳:同一抓法下几何与柔软度不同,闭手时手部遮挡接触区。这篇作者预印本要回答:不重训VLA,能否在执行阶段把「策略」落到「手上的物理实现」。

做法是在固定VLA外加一层有状态执行监督器:VLA只给接近动作与手部目标,监督器拿手指位置与电机力矩当本体感知接触证据,在抓取指令完成的评估点决定保持透明、只修正未被支撑的手指,还是交回VLA重试;不需要额外触觉传感器,也不需要按物体重训。合拢前另有一层交互模式选择,在两种预定义模式(位置控制与柔顺控制)间切换,有提示词用提示词,没有时由Qwen2.5-VL-7B按图像与任务上下文决定。

真机为Unitree G1配BrainCo Revo2灵巧手,固定策略GR00T-N1.6-3B。五个留出物体、每物体15次共75个随机交错匹配块:基础VLA完成率61.3%,无条件「闭到卡住」基线72.0%,监督器84.0%;对基础VLA的不一致对20比3,Holm校正后p=0.001。消融中完整监督器86%对仅位置停顿基线72%;选择性介入把修正次数由134降到46(减65.7%),两变体完成率无检出差异。位姿扰动下三种条件监督器均最强,比基础VLA高22、28、28个百分点。

边界也清楚:只覆盖策略已给出可行接近的场景;柔顺物体上「拒绝」偏保守,留出物体上接受后仍能持住的比例88.9%,25.6%可保留配置被误拒;薄壁杯靠指令选模保住5/5,但杯子属训练物体,柔顺控制只在静态抓取下评估。

点评

对做机器人本体软件的工程人员,这条路线的价值在于把「接触到底有没有建立」的判断从视觉挪到执行层的本体信号上:一套固定策略权重可以在新物体上复用,不必为每个物体重训策略,也不必加装触觉传感器;选择性介入还把无谓的接触修正从134次压到46次。改动集中在执行层,不动策略模型本身,是可以分层接入现有VLA栈的做法。

只覆盖策略已给出可行接近的场景,救不回任意接近错误;证据是本体信号而非标定力,柔顺物体上拒绝偏保守;消融未能分离力矩证据与判定释放各自的贡献,选择性与始终介入的差异未检出不代表等价;柔顺控制只测闭合与保持,薄壁杯属训练物体。证据来自作者自评的 arXiv 预印本,本次材料中未见独立复现。

082026-11-08 · arXiv · 作者论文用检索到的引导做零样本 VLA 适配:RAGu 冻结模型权重,把跨域演示变成轨迹约束
图 1:RAGu 流程总览。(a) 使用语义关键词对真实世界数据集进行筛选,保留运动学特征相近的广义任务类别,例如通过数据集中的语言指令标签识别抓取—放置任务。(b) 使用语义边界框检测识别目标场景中与任务相关的物体,提取目标航点 W′,从而使源轨迹能在视觉分布偏移下平滑适配。(c) 采用基于动态时间规整(DTW,一种衡量两条时序序列差异的匹配方法)的匹配,将检索候选 i 粗略剪枝至前 N 个;随后从剪枝后的轨迹 i′∈[N] 中选出使引导梯度范数(‖∇_{A₀}𝒞_{i*}(X_t)‖₂)最小的最优轨迹 i*,即检索出与 VLA 期望笛卡尔轨迹 X_t 最为对齐的示范。(d) 在测试阶段,所选参考轨迹 i* 定义一个能量场(ℒ_warp ≈ ‖X_t − i*‖₂),用于引导扩散(diffusion)去噪过程,实现零样本适配。 图片出处
图 4:真实世界成功率。将 RAGu 与基础流匹配策略(π_0.5)、基于检索的上下文学习基线(RICL)以及基于视觉语言模型(VLM)的目标引导基线(Omniguide)进行比较。评测覆盖 5 项多样化的操作任务:打开抽屉、打开橱柜、关闭微波炉、把毛巾放到盘子上、擦拭桌面。 图片出处

对机器人本体软件工程师来说,一个更省事的思路是:不再为每个新场景重新采数据训策略,而是把已经训好的视觉-语言-动作(VLA)模型冻住,在测试时外挂一层引导。问题在于,VLA 预训练虽然能应付通用操作,但相机视角、场景背景、物体身份或机器人形态一变就明显掉点。

RAGu(检索增强引导)走的就是这条路线:不更新权重、也不占用模型上下文窗口,而是从与目标场景不匹配的现成演示数据(这里是 DROID 采集的真机数据)里检索出操作轨迹,先做几何变形对齐到目标场景,再在推理时用这条轨迹持续约束模型输出。

具体三步:第一,按任务类别筛出语义相关的源演示;第二,用 Grounding DINO 在目标场景中检测任务相关物体的语义边界框来定位目标路点,把源轨迹变形到目标坐标系;第三,用动态时间规整(DTW,动态时间规整)在离线阶段粗筛候选,在线再挑代价梯度范数最小的那条,也就是与模型自身先验冲突最小的一条,在流匹配去噪过程中把动作持续往这条轨迹上拉。

效果(均为作者自测):真机 5 个操作任务上,以 π0.5 为基础策略,RAGu 成功率 80%,只给稀疏目标点的视觉语言模型引导(Omniguide)为 40%,擦桌这类接触密集任务为 100% 对 30%;仿真 RoboLab 上 RAGu 25%,VLS 12%。仿真里扩大检索池也稳定有效:无引导时均值 23.6%,只用 1 条轨迹 28.4%,用 100 条 36.4%。把 7 自由度 Franka 的演示拿去引导 29 自由度 GR-1 人形机器人,100 条候选时平均成功率提高 13.6 个百分点。

需要留意:真机每个任务只有 10 次 rollout、仿真 25 次,样本偏小;作者自己复测 RoboLab 的无引导基础策略得 14.0%,低于原报告的 28.0%;方法要求源库里已有大致匹配任务类别的演示,对相机位置和遮挡并不鲁棒,引导只能在 VLA 原有先验内重塑运动。

点评

对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。

本次可核验材料只有 arXiv v1 的预印本全文快照,全部数字为作者自测,材料中未见第三方复现;后续版本与项目网站内容不在本次核验范围内。作者复测 RoboLab 无引导基础策略得 14.0%,低于原报告的 28.0%,绝对成功率需谨慎解读。评测规模也偏小:真机每任务 10 次 rollout、仿真 25 次。方法本身要求源数据库含有大致匹配目标任务类别的演示,对相机位置与遮挡并不鲁棒(语义对应失败会破坏三维变形并污染引导信号),且引导只能在 VLA 原有先验内重塑运动。

092026-11-12 · arXiv · 作者论文WISE:面向视觉-语言-动作模型高效后训练的世界模型引导想象调度
图2:WISE 总体框架。调度式世界模型想象(scheduled world-model imagination)通过设定边界的想象未来来评估候选动作,并把它们之间的相对结果转化为用于 VLA(视觉-语言-动作模型)策略改进的反馈。 图片出处
图4:真实世界评估的泛化设定。我们考虑四类变化:场景几何、光照条件、干扰物体以及语言指令。 图片出处

要解决的具体问题:给已训练好的 VLA(视觉-语言-动作机器人策略模型)做后训练时,监督微调需要大量专家示教,强化学习要在真实机器人上反复探索、还可能碰撞磨损硬件。作者改用世界模型在"想象"里预演候选动作,但主张瓶颈不在预测准不准,而在想象怎么调度:放在哪些状态、推多远、结果如何变成可信监督。

WISE 的做法是:用 DINOv2 ViT-L/14 编码腕部与第三人称两个视角的图像,配一个轻量 MLP 给当前上下文打交互相关性分,只有被判为交互相关的状态才生成候选动作并做有界的世界模型 rollout,否则跳过想象;世界模型是冻结的、由 Open-Sora 改造而来的动作条件多视角预测模型;奖励模型从想象观测中读出任务进度、预测置信度与任务完成三类信号来比较候选动作。想象画面只用于给候选打分,被直接监督的只有真实上下文中的第一个动作块;世界模型与 VLA 主干全程冻结、只训动作头,每次更新前从选中上下文累积 256 条 rollout。

结果均为作者自测:五个 MimicGen 任务上 π₀ 平均成功率 49.7%→59.5%(+9.8 点),比最强基线 π₀+DPO 高 5.7 点,π₀.₅ 为 52.3%→60.2%;真机在 Galaxea R1 Lite 四个任务上,π₀ 标准设置 60.0%→77.5%、泛化设置 42.5%→68.8%。调度消融中,相比每步都想象,选中状态少约 80%、GPU 时间少 77%,成功率反高 7.9 点。

点评

对做机器人本体软件、机器人策略工程的开发者,可参考的是它的工程结构而非结论数字。第一,调度与评估只依赖策略本来就要用的两个相机视角,调度器用机器人执行信号构造弱监督、训练之后只需视觉观测即可判断哪些状态值得想象,因此可以作为旁路模块接进现有策略循环,不必额外做人工任务阶段标注,也不占用真机交互预算。第二,后训练阶段世界模型与 VLA 主干保持冻结、只更新动作头参数,意味着可以在已有 VLA 微调流水线之后追加一段后训练,而不必重训主干。第三,"想象出的画面只用于比较候选动作、被直接监督的只有真实上下文的第一个动作块"这一约束,避免合成画面直接进入策略的训练分布,这正是许多用生成模型辅助策略优化的方法容易踩的坑。算力层面,选中状态少约 80%、GPU 时间少 77% 这组数字对有 GPU 预算约束的团队最有直接参考意义。需要提醒的是:以上效率与成功率结论全部来自作者自己的仿真与真机评测,本次核查未见独立复现,方法在冻结世界模型上的实现细节也依赖作者提供的配置。

证据身份:全部结果来自作者论文的自测,本次核查未见独立复现;论文声明源码仍在匿名仓库、待发表后公开。覆盖范围有限:仿真只有五个 MimicGen 任务,真机只有 Galaxea R1 Lite 一个平台、四个任务,真机独立试验次数少、样本量偏小;泛化评测只覆盖交互高度、光照、干扰物和指令改写四类受控变化,属于作者自设的受控扰动,不等于真实部署中的分布漂移。对比方面只与作者选取的若干后训练基线比较,未与世界模型类方法做直接对比,因此"选择性想象优于其它调度方式"这一结论目前只在作者自己的实验设定内成立。方法本身也有边界:世界模型是冻结的改造版 Open-Sora,rollout 视野有界,作者在伦理声明中称该方法面向机器人学习研究、不针对安全关键自主部署;作者另自述当前调度采用固定想象视野与粗粒度阶段监督,把自适应视野和更细粒度调度列为未来工作。

102026-11-12 · arXiv · 作者论文TEMPO:面向视觉-语言-动作模型的语义-动作解耦强化学习后训练
图3:三条 FLOWER 失败轨迹(行)上的潜在动作(latent-action)对比,列为 FLOWER、FLOWER-RL 与 TEMPO,更新比例为 1:1–5:1。模型在每条轨迹上共享 36 个决策输入点,相邻输入点间隔 10 个环境步。每行内部,归一化的潜在动作摘要先由 PCA 联合降维(1,024 维降至 50 维),再做 t-SNE,各列共用同一套坐标。颜色表示来源环境步,实线连接相继的输入点。圆圈和方块分别标记起点与终点;灰色虚线给出 FLOWER 的参考轨迹。 图片出处

要解决的具体任务:让预训练的视觉-语言-动作模型(VLA,输入相机观测加一句语言指令、输出机器人动作块)在自己的交互中继续变好,通常靠在线强化学习(RL,模型与环境交互、用任务奖励更新参数)后训练。作者指出,监督微调(SFT,用示范数据训练)本身受分布不匹配限制,而现有 RL 方法常把模型里所有可训练模块放进同一条 RL 循环、以同一频率更新,忽略了这些模块的功能角色不同。

这次改变了什么:TEMPO 把更新频率拆成两档。冻结预训练视觉语言主干,只适配输出潜在动作的语义投影层和把潜在动作变成可执行动作块的动作专家,并给两者各配一条模块级 TD3(actor-critic 类)算法循环,各带独立回放缓冲区与评论家,共享同一批环境 rollout。语义投影层更新得更少、动作专家更新得更频繁;作者的解释是,语义投影层更新过频会引起潜在动作漂移、让动作专家的优化目标不断移动,而动作专家又必须足够快地吸收交互反馈。

结果(均为作者在本文自报):CALVIN ABC→D 长程基准上,SR5(五段指令链全部完成的成功率)为 81.70±0.40%(三个种子),单循环 RL 后训练基线 FLOWER-RL 为 78.70±0.70%,表中最强的已列基线 DeFI 为 81.2%,预训练参考策略 FLOWER 为 77.8%,对应平均连续完成长度分别为 4.58±0.005、4.52±0.028、4.51、4.49。频率比 5:1 和 10:1 相对 FLOWER 分别把 SR5 提高 3.9 和 3.4 个点,等频 1:1 的双循环反而低 0.1 点,平均连续完成长度从 4.49 降到 4.46。潜在动作漂移在等频 1:1 时最大为 0.641,4:1、5:1 降到 0.409、0.424,对应目标任务成功率 98.0%、96.0%,高于 FLOWER-RL 的 68.0% 与 1:1 的 66.0%。真机侧在 6 自由度 Synria Alicia-D 机械臂加单自由度夹爪、两台 RealSense 相机(D435i 看工作区第三人称视角,腕部 D405 看近距)的平台上做三个多阶段操作任务,每任务 60 条人类演示共 180 条,在线 RL 后训练后期 TEMPO 的评估奖励高于并保持在 FLOWER-RL 之上。

点评

对做 VLA 在线后训练的工程师,可借鉴的是一种模块级 RL 拆法:把语义接口和动作专家分到各自的 TD3 循环,用更新频率差去对齐两者不同的适应需求(语义侧慢、动作侧快),同时冻结主干以保住预训练的语义知识。落地前提是模型结构里要有一个可冻结的视觉语言主干,以及一个能与动作专家分开优化的条件接口——作者在 FLOWER 之外把同一方法用到了 VLA-Adapter-Pro(用其原生的分层 key/value 投影充当语义投影模块),SR5 从 77.23% 提到 79.17%,平均连续完成长度从 4.437 提到 4.487。工程代价是两条循环各要维护一套回放缓冲区、评论家等组件。频率设置上,5:1、10:1 相对预训练策略分别高 3.9 与 3.4 个点,而等频 1:1 反而略低,说明收益来自两个模块都参与更新、且两者更新频率存在差别。以上均为作者论文自报,未见独立复现材料。

全部结果为作者在本文自报,未见独立复现材料。方法有前提:模型要有可冻结的视觉语言主干,并有一个能脱离动作专家单独优化的条件接口;作者分别在 FLOWER 和 VLA-Adapter-Pro 上做了验证。指标口径较窄:漂移的离散度反映的是探测轨迹之间的差异、而非训练种子之间的差异,目标任务成功率是在同一初始状态下做 50 次试验、每次上限 360 环境步得到的,不宜外推到其他任务或策略。证据类型也不统一:模拟侧给的是 CALVIN ABC→D 长程基准上的 SR5、平均连续完成长度与漂移指标,真机侧给的是三个多阶段操作任务后训练过程中的评估奖励,两者的衡量口径并不相同。

11arXiv2026-11-10 · arXiv · 作者论文ODEAction:把动作块预测换成动作的连续演化

视觉-语言-动作(VLA)模型通常一次预测一整段"动作块"再拼接执行,相邻块各自独立预测、边界处缺少显式的时间一致性约束,执行时容易出现动作跳变和轨迹不连续;接触与容差敏感的操作(倒水不洒、插勺这类)对这类不连续尤其敏感。这篇 arXiv 预印本把"以块为单位预测"换成"动作随时间的连续演化",并实现为可插拔的动作头(action head),可接入不同的视觉-语言骨干。对做本体与控制软件的工程师来说,骨干、训练数据、控制频率和视觉观测更新时刻都可以沿用,改造集中在动作头这一层。

方法要点:用常微分方程(ODE,描述连续量变化率的方程)刻画动作随演化时间的变化,把该方程的向量场称为动作转移场(Action Transition Field);推理时以当前动作为初始条件数值求解这个方程,刚生成的动作又成为下一步的起点,相邻动作之间因此有显式的生成依赖,全部实验采用前向欧拉法积分。训练直接监督这个转移场:目标方向由"沿演示推进"和"按比例把偏离动作拉回演示路径"两部分合成,修正强度由 k 控制;训练既不需要求解 ODE,也不需要对数值积分反向传播。

结果均为作者自报:LIBERO 平均成功率 96.85%→98.25%,EBench 15.28%→24.72%(相对提升 61.8%),两个基准上四项轨迹质量指标同时改善;在 RoboTwin 的受控对比中,专做跨块衔接的 RTC 与 Legato 把边界跳变从 0.1165 分别降到 0.1025 和 0.1022,但成功率反而各降 1.20 和 4.40 个百分点,而 ODEAction 把成功率提到 84.4%、边界跳变降到 0.0847;真机(AgileX Cobot Magic 1.0 平台,以 π0.5 为基座)四个任务平均成功率由基座的 65.00% 升到 80.00%,其中倒水杯任务 70.0%→90.0%、插勺任务 25.0%→55.0%。作者还报告边界不连续下降量(BDR)与成功率提升在 10 个评测单元上强正相关(Spearman ρ=0.939)。

限制:证据只有作者论文与补充材料,无独立复现;真机仅一个平台、四个任务,每任务每方法 20 次试验;四项轨迹指标只在各方法的成功回合上统计,Boundary Jump 按对应基座策略的块边界时刻对齐,口径由作者定义;给出的材料中未报告推理延迟与开销。

点评

对做机器人本体与控制软件的工程师,最实际的一点是:这是一个可以整体替换的动作头。视觉-语言骨干、训练数据、控制频率和视觉观测更新时刻都能沿用,只需把"一次输出一整段动作"的模块换成"每步只查一次场、再由积分生成动作"的实现;论文的全部实验用前向欧拉法积分,训练侧既不求解 ODE 也不对数值积分反向传播,所以改造工作量主要落在推理侧的每步场查询与积分,以及动作表示和低层控制接口的对齐上。

可以直接拿到运行时观测的抓手是 Boundary Jump(相邻控制指令在块边界处的突变幅度):论文按对应基座策略的块边界时刻计算它,把它当作轨迹连续性的主指标,并报告在 10 个评测单元上它与成功率提升呈强正相关(Spearman ρ=0.939)。这是作者自己数据里的同向观察,说明"把拼接处做平滑"与"成功率更高"在受控对比中同向出现,是有数据指向的改造方向,而不是本文已证明的因果关系。

收益最集中的场景是接触与容差敏感的精细操作,而不是已经接近饱和的任务:LIBERO 上基座已到 96.85%,可用空间有限;EBench 从 15.28% 提升到 24.72%、真机插勺从 25.0% 提升到 55.0%、倒水杯从 70.0% 提升到 90.0%,绝对增益都大得多。真机上末端执行器平均绝对加加速度(EE-MAJ)从 3.01 降到 1.81、边界跳变从 0.14200 降到 0.13100,说明"更平滑"与"更高成功率"这两组指标在作者实验里是同时改善的——但两者是在成功回合上各自统计的,不能互相当作因果证据。

材料只有这篇 arXiv 预印本的正文与补充材料(PDF 文本抽取,表格与图形几何未重建),没有独立第三方复现,也没有厂商发布或开源工程产物,所有结论应视为作者自报。真机实验规模小:只在 AgileX Cobot Magic 1.0 一个本体平台上做四个任务,每任务每方法 20 次试验,按 20 次试验计的百分比容易被个体差异放大。四项轨迹指标(NLDLJ、NSPARC、EE-MAJ、Boundary Jump)只在各方法的成功回合上计算,失败回合不计入,因此"更平滑"与"更高成功率"是两套独立统计;Boundary Jump 按对应基座策略的块边界时刻对齐,RTC、Legato 等方法也统一用基座的边界时刻作参照,比较口径由作者定义。评测只在同骨干、同训练数据、控制频率与观测更新时刻一致的受控组内进行,不构成跨协议或跨平台排名。给出的论文正文与补充材料中没有报告推理延迟、开销与吞吐,真机之外也没有覆盖更多本体形态。以上限制来自论文自身的实验设计与报告范围,不涉及第三方验证。

12arXiv2026-11-09 · arXiv · 作者论文规划器会利用确定性误差:抖动式低比特世界模型

机器人上的模型式控制(model-based control,即用世界模型预测动作后果再选动作)通常依靠采样规划器:MPPI(模型预测路径积分)与 CEM(交叉熵方法)在每个控制步反复调用世界模型,TD-MPC2 一次决策为 512×6×3 次前向调用,DINO-WM 在 PushT 上为 300×30×5 次,因此低比特运算是降低单步控制成本的直接手段。

这篇 arXiv 预印本(作者自述结果,未见独立复现)指出一个部署陷阱:激活直接用就近取整(round-to-nearest)量化、不做校准时,规划可能整体崩掉,成功率最多掉 100 点(mw-button-press、2 比特),而潜在状态的一步预测误差并不比随机舍入更大——只看离线预测误差发现不了这类失败。

作者的解释是:问题不在误差多大,而在它是否跨迭代持续、是否被所有候选共享;就近取整是固定函数,同一动作序列的预测回报误差每轮都一样,迭代规划器会保留被误差偏好的候选并把采样分布移向它们。修法 sh-iter 很轻:每层抽一次随机抖动(dither)供所有候选共享、每次前向调用重抽,不需训练、不改网络结构。

在 TD-MPC2 上,sh-iter 在 19 个受影响的 Meta-World 单元(任务×比特宽度)全部挽回至少一半损失(中位数 95%),DINO-WM 的 5 个受影响单元中 4 个如此,317M 参数多任务 TD-MPC2 的 8 个受影响任务全部如此。

部署侧:在 NVIDIA A40 上以 CUDA graph 捕获计时,W8A4(8 位权重、4 位激活)整数路径的世界模型 rollout 比 FP32 快 1.9–3.3 倍(全部 12 个条件);但整个规划步只快 1.28–1.49 倍,且耗时是预转换权重的 BF16 版本的 1.01–1.12 倍。共享抖动对 rollout 的额外延迟最多约 2.3%(对整步最多 0.7%)。

限制:修法依赖迭代式规划器,迭代少时无效;DMC(DeepMind Control Suite)上 12 个受影响单元只有 5 个挽回一半,walker 在 3 比特下反而更差;无真机实验,延迟数据只来自一种 GPU。

点评

给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。

证据仅为一篇作者 arXiv 预印本(v1 全文快照),未见独立复现;没有真机实验,延迟数据只来自一种 GPU(A40),该 GPU 上预先转换权重的 BF16 仍快于首层保留 FP32 的整数路径,且 BF16 未在闭环中评测。方法依赖迭代式规划器,迭代数少时不起作用;在 DMC 上,受影响单元里不到一半被修复,walker 3 比特下反而更差。若已有较好的后训练量化(多为按通道范围),额外增益有限(TD-MPC2 19 个单元中 10 个属边缘,DINO-WM 3 个中 1 个基本没有);317M 结果来自单一 checkpoint,FP4 相关结果来自 5M 模型的假量化。

132026-11-11 · arXiv · 作者论文为冻结的视觉-语言-动作模型学习低延迟动作验证
图:HDH 总体框架。(a) 给定任务指令、当前图像观测和本体感知(proprioception)信息;(b) 我们从一个冻结的 VLA 中采样候选动作块(action chunk);(c) 我们用一个基于回合终止结果(terminal rollout outcome)训练的紧凑验证器,为每个候选动作块给出预测的任务成功分数;(d) 机器人执行预测任务成功分数最高的候选动作块的前 H 个动作。 图片出处
图:真实世界操作任务。评测内容包括把毛绒玩具放到盘子上、把草莓放进橱柜并关上柜门,以及从抽屉中取出方块并合上抽屉。这些任务覆盖物体放置与多阶段操作。 图片出处

部署视觉-语言-动作模型(VLA,把图像与语言指令直接映射成机器人动作的模型)时,常见做法是每次只采一个动作块就执行。但生成式策略在同一观察下能给出质量差别很大的多个候选,单次采样等于丢掉这层分布,挑哪个候选便成了部署难题。这篇论文不训练新策略,而是把“选得更准”做得足够便宜。

机制分三步,用的是 hindsight(用已经发生的结局反过来当监督):先让冻结策略自主跑 rollout 收集数据;再用每条轨迹的终止成功或失败训练一个紧凑验证器,为每个候选动作块预测“最终任务成功率”分数;部署时策略用各自独立的随机噪声采出两个候选,验证器挑分数最高者执行其前 8 个动作。监督只来自终止结果,不需要专家对比、合成偏好或预测未来。

仿真侧(LIBERO-10 的四个多阶段任务,基线是从 π0.5 用 LoRA 微调后冻结的策略),HDH 平均成功率 82.3%,冻结基线 78.8%,从同样两个候选中随机挑是 77.5%;加入最近三次已完成查询的执行历史后,HDM 的 80.3% 升到 82.3%。时延上,单次查询中位数从 681 ms 增到 718 ms(+5.4%),GPT-5、GPT-6 这类视觉语言验证器则为 27,674 ms 和 7,403 ms。真机三个任务平均成功率 44.7%→67.3%,毛绒玩具放置 64%→94%,抽屉 38%→52%,柜子 32%→56%;Fisher 检验在毛绒玩具、柜子任务和合并统计上显著,抽屉任务不显著。

条件与限制:仿真每方法每任务用 50 个留出初始状态、三个随机种子共 600 个 episode;GPT-5 因推理慢只评 60 个 episode,比较不完全对等。限制还有验证器按任务单独训练、候选集只有 2 个(更大规模作者列为待验证)、时延为含仿真开销的端到端测量、真机时延分解待测、任务与机器人设置数量有限。以上为作者论文自报,本次材料未见独立复现。

点评

对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。

验证器按任务单独训练,跨任务共享未做;候选集固定为 2 个,更大规模下的表现与开销是作者明确留下的开放问题;时延数字是含仿真开销的端到端测量,真机时延分解待测;GPT-5 只评 60 个 episode,与其他方法不完全对等;评估覆盖的任务与机器人设置数量有限。以上为作者论文自报结果,本次材料未见独立复现。

14来源2026-11-06 · Hugging Face · 工程产物LeRobot 发布 Cosmos3-Edge 的 LIBERO-10 微调策略权重:500 回合闭环成功率 95.2%

这次发布的是一份可直接加载的机器人操作策略权重:LeRobot 团队在 HuggingFace 上放出 NVIDIA Cosmos3-Edge 的 LeRobot 格式微调版本,要解决的是让机器人本体软件程序在 LIBERO-10 上跑通一条可复现的仿真操作基线。LIBERO-10 是含 10 个任务的仿真机械臂操作基准。

策略读入任务指令和第三人称、腕部两路 256×256 RGB 相机图像(无本体状态输入),同时输出一段 16 步动作块和该场景的未来视频,属于带世界模型成分的形态。动作是 10 维(位置增量 3 维、旋转 6 维、夹爪 1 维),由环境处理器转成 LIBERO 需要的 7 维。

模型卡自测闭环成功率 95.2%(476/500),同一张表里 Cosmos3-Nano 权重为 97.6%(488/500)。协议是每个任务 50 回合、初始状态与环境种子 0 到 49、每批 4 个环境、合计 500 回合,物理仿真器用 MuJoCo 2.3.7(LeRobot 锁文件默认装 3.8.1,需先降级)。

点评

对机器人本体软件程序员,这是一份可以直接 `--policy.path=lerobot/Cosmos3-Edge-Policy-LIBERO_10` 加载的策略:模型卡给出了依赖版本、评测命令和完整的评测设置表,可以在本地复现一条 LIBERO 操作基线,再决定是替换数据集还是换任务继续做适配。"动作块+未来视频"联合输出的形态也说明这类策略内部带有世界模型成分,而不是只输出动作;推理时需显式传 `--policy.dtype=bfloat16`,因为模型卡把 `config.json` 的 dtype 故意设为 float32 用于微调。

95.2% 与 97.6% 都是模型卡发布方在固定依赖版本下的自测数字,本次材料中未见独立复现;表中第三行的 97.40% 引自 arXiv 技术报告(作者论文口径),与本表自测不是同一证据来源,不能当作互证。MuJoCo 3.x 会改变接触密集 LIBERO 任务的成败,与 2.3.7 的结果不可比;预处理中的视频画布步跑在 CPU 且关闭了 cuDNN 基准测试,换回 `lerobot-eval` 默认设置会带来输入与采样上的小数值差异。训练只用 379 条演示且无验证集划分,所有结论限于 LIBERO 仿真,未涉及真机,发布的是按 LIBERO 成功率从检查点中挑出的单个权重,不能代表其他任务或真实场景表现。本次材料是该模型卡某一版本的网页快照,其更新时间只能说明该版本被改动过,不能证明各段文字在报告截止前均已存在。

152026-11-10 · arXiv · 作者论文LEASH:给智能体机器人套上安全绳——三道闸门加共享策略的模型无关安全层
(原图未提供独立图注) 图片出处
图3:LEASH 总体框架。智能体规划器(小狗)与三道安全门共享同一套安全策略,共同构成这条“牵引绳”。(1) 任务门在规划之前审查指令,是唯一能够终止任务的门,而规划器自身也可在任何时刻停止任务。(2) 动作门逐一审查所提出的原子操作或技能。(3) 提交门在被监控的操作(如夹爪开合、倾倒)执行之前进行检查。下方:RoboRisk-S 任务 P3-01。第 2 帧取自一次基线运行,显示了 LEASH 予以拒绝的候选路径。 图片出处

把基础模型直接接到机器人上已经变容易了,但安全一侧没跟上:经典机器人安全只是在规划与执行时施加显式约束,无碰撞轨迹照样可能把电子设备放进水里;模型控机器人部署门槛降低后,不安全行为更快触达真实用户,而现有防护是按文本和二维世界设计的,并不为三维物理世界而设。

作者建了 RoboRisk 基准:92 个仿真任务加 13 个真机任务,分任务级拒答、计划修正、执行期危险、注入攻击、序列记忆五类;论文称以往基准最多覆盖其中两类且不少只评文本输出,RoboRisk 五类全做,并在仿真和真机上闭环执行每个任务。六个受测基础模型在基准上的伤害率落在 9.06% 到 76.92%。

对应的解法是 LEASH(Lease-Enforced Agentic Safety Harness):一个模型无关的安全层,能插进几乎任何智能体框架,把规划器当黑盒、不需重训。它用决策模型(Jev 或 OpenAI 的 Decisions API)设三道闸门:规划前审查指令的任务闸门、每个动作执行前的动作闸门,以及长技能中夹爪张开、倾倒这类不可逆操作执行前的提交闸门;每道闸门的审查都基于当前相机画面,而不是像现有防护那样主要检查文本,规划器与三道闸门共享同一份安全策略。

结果是伤害下降但没清零:仿真中 GPT-6 Astra 的伤害率从 11.23% 降到 0.00%,安全成功率从 78.99% 升到 80.80%;真机上 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 加 LEASH 后 13 次运行均无观察到伤害,安全成功率都是 84.62%。平均端到端时间只增加 1.66%,三道闸门的估算成本约占单次运行总成本的 0.66%。GPT-6 Luna(仿真)与 Grok 4.7(真机)加 LEASH 后仍有 12.68% 和 38.46% 的伤害率,作者因此不建议这两个模型用于真机实验。

点评

对做机器人本体软件和智能体框架的工程师,这篇工作给出两件能直接用的东西:一层与模型无关、能插进几乎任何智能体框架的安全层(三道闸门加一份规划器与三闸门共用的安全策略),以及一个把语义风险落到闭环执行上的评测任务集。安全层把规划器当黑盒,不需要重训,新模型发布后即可套用;代价也很小,端到端时间只多 1.66%,闸门成本约占单次运行总成本的 0.66%。实际收效取决于两件事:规划器是否遵守那份共享策略、闸门用的决策模型判得准不准——在能力弱的规划器上改善有限,GPT-6 Luna 与 Grok 4.7 即使加上 LEASH 仍有明显残余伤害。

结论全部出自作者自建的 RoboRisk 基准,属作者论文自评,本次材料未包含第三方复现。真机部分每个任务在每种配置下只跑一次运行,11 种配置合计 143 条记录,样本极小;仿真侧每个任务内跑三个种子再按任务等权平均,结果由人工判读。GPT-6 Luna 因预试中手臂动作不可预测被排除在真机评测外。两个机器人专用 API(Dream API、PokeBot RoboAPI)只在改造过的 13 任务仿真子集上评测,每任务三个种子共 39 次运行;因为它们只返回动作、harness 不可修改,没有与 LEASH 一起评测。作者自陈的局限:LEASH 依赖审查模型的准确率和规划器行为;当前决策模型推理能力有限,动作闸门和提交闸门只能拦截、不能终止任务;一旦闸门判错而规划器又不遵守策略,仍可能发出不安全动作,这解释了 GPT-6 Luna 和 Grok 4.7 收效有限;当前模型在真机有人在场时无法兼顾安全与协作;提交闸门只覆盖夹爪张开和倾倒,长技能(如 VLA 技能)内的其他危险未被监控。

162026-11-12 · arXiv · 作者论文ACE-CaP-0:体验时代下的真实世界代码即策略
图1:ACE-CaP-0:从定向经验到机器人独立执行。左:编码智能体在机器人上改进策略,按需请求机器人示范并使用仿真。右:八项操作任务,每个面板给出成功率与以分钟计的平均真机执行时间。每个冻结策略在 30 次试验中评测,以运行时感知与控制执行,闭环中没有人类或编码智能体参与。 图片出处
图5:ACE-CaP-0:从策略开发到独立执行。(a) 编码智能体利用真实世界反馈编写并修订可执行策略,配备一个共享的机器人工具箱,同时支持策略执行与智能体直接探索。在整个开发过程中,智能体可以请求动觉示范(kinesthetic demonstration),从而获得视频、机械臂轨迹和关键关节位姿;也可以针对所选的任务片段与初始状态,在仿真中测试候选代码。(b) 所得的代码策略被冻结,并通过机器人自身接口执行,闭环中没有人类或编码智能体参与。第 4 节在不进一步更新的情况下评测这些冻结策略。 图片出处

机器人策略可以写成可执行程序(代码即策略,Code as Policies,CaP):编码智能体在开发期试错,把动作顺序、几何关系和运动参数沉淀成代码,运行时按固定规则调用感知与控制接口;执行期反复调用大模型会拉长任务完成时间,真机试错又昂贵,论文要回答的正是开发期该获取哪类经验。

作者在充电器插入任务上设六种开发条件对照,每种只开发一次。随时索取的机器人示教成功率 86.7%(26/30),高于机器人视角的人手视频 73.3%(22/30)和纯文字指导 60%;改成按需索取也优于一上来就给(53.3%,16/30)。仿真须嵌在真机回路:按需仿真达 100%,先仿真再迁移的顺序流程为 0%,因模拟深度未复现真实传感器近距离盲区,代价是输出 token 从 0.73 百万升到 1.09 百万。

据此提出 ACE-CaP-0:编码智能体自行决定请求示教、跑仿真还是直接上真机,之后冻结程序。评测平台为两台 Agilex PIPERX 机械臂加三个相机,编码智能体是 Claude Opus 5.5,每任务开发期最多十次人工协助的场景重置。八个真实操作任务每程序 30 次共 240 次,总体成功率 92.1%(221/240),平均执行 0.97—2.27 分钟。均为作者自报,成本未计入示教人力。

点评

对写机器人策略的工程师,这篇工作把“经验从哪来”当成开发流程的一等公民:示教做成按需索取而不是开场就塞一堆,仿真放进真机反馈回路而不是先离线刷完再迁移——在本文的充电器插入任务上,顺序式“先仿真后迁移”最终 0% 成功,按需仿真为 100%;最后把策略冻结成程序,运行时不需要人或编码智能体在线决策。预算上也要有预期:按需仿真会多烧输出 token,每个任务还要预留人工协助的场景重置次数,采集示教所用的重置不计入该预算。

六个开发条件都只在充电器插入这一个任务上各跑了一次开发,作者明确说跨独立开发批次的一致性尚未建立;每个冻结程序的 30 次评测衡量的是程序可靠性,不等于开发过程的稳定性。成本口径记录的是开发耗时与模型输出 token,作者把“把示教人力纳入成本核算”列为后续研究的要求。全部结果为作者自报,未见独立复现;证据仅来自该 arXiv v1 全文快照,没有后续版本可供比对。

172026-11-10 · arXiv · 作者论文真实与仿真数据的 VLA 适配:机器人国际象棋案例研究
图1:真实机械臂(上)与仿真中(下)一次移动的五个阶段,各阶段以策略所预测的阶段词元(stage token)标注。 图片出处
图3:真实试验中某一帧下策略的输入与输出。策略观测两幅校正后的相机图像、关节位置、指令以及当前阶段;输出为包含 50 个关节目标的关节目标块,并预测是否转入下一阶段。 图片出处

视觉-语言-动作(VLA)模型要为每个新任务和新机器人重新微调,但收多少数据、训多久、选哪个检查点常靠猜。这篇论文把问题缩到一个具体任务:SO-101 低成本机械臂按只有格名的指令把国际象棋王搬到目标格,既要精确夹取又要理解棋盘空间。作者在遥操作演示和仿真演示上微调 π0.5,仿真演示来自模仿人类抖动的随机化脚本专家。

做法是把仿真做成真机的孪生环境:可产出任意数量演示,并让每个模型在同一套 1000 次闭环试验上被评测。

仿真中成功率随数据量和训练步数一起上升;10k 条演示时,末段把学习率冷却到零的分支在 165k 步达 60%,其分叉处的恒定学习率检查点只有 29%,冷却最多值 31 个百分点。离线指标不可信:按验证损失选会选到零成功率的模型,开环动作误差虽单调下降也分不出模型。

真机结果作者自标为部分结果,十个模型各 25 次试验:仿真预训练初始化更好,真实数据越少差距越大——128 条演示时成功 18/25 对 2/25,32 条时基座初始化从未抓住棋子。在策略自身轨迹上继续训练(过滤行为克隆、优势条件标注、自动教练纠正、残差强化学习)都未测出优于纯行为克隆。仿真器、脚本专家和真机演示数据由作者开放。

点评

对机器人本体软件工程师,这篇论文给出几条可直接照做的判断:挑检查点只能看闭环成功率,验证损失和开环动作误差在这里会选错;比较检查点前必须做一次短的学习率冷却,否则差距可达 31 个百分点;真机演示不足时先用仿真演示预训练,128 条真实演示的量级上仍有明显收益;用策略自身轨迹继续训练这条路,在这篇论文的设置里没测出优于纯行为克隆的收益,可先暂缓投入。

结论来自单一任务、每个设置只训练一次,脚本专家与人类演示的相似性没有严格量化;RECAP 变体省略了原方法的优势条件预训练与人工纠正,负结果只覆盖简化版本;真机每个模型仅 25 次试验,作者自己声明只解读大的差异,统计证据有限;真机策略因部署推理延迟以示范速度的三分之一运行,仿真器也未建模打印连杆的柔性与真实控制器插值方式。本次证据是 arXiv v1 的单版本全文快照,没有滚动页或版本更新目录可比对,之后的修订未纳入;文中数字均为作者自报实验,开放的仿真器与演示数据也由作者自行发布。

182026-11-07 · arXiv · 作者论文HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人
图2:HuMI 数据采集。(a) 挑战:仅用夹持器采集的数据无法充分刻画全身运动,简单的规模化采集会破坏场景对齐。(b) 硬件:便携式夹持器与追踪器,并提供实时 IK(逆运动学)预览以确保可行性。(c) 数据处理:任务空间的 SE(3) 轨迹用于训练高层策略,全身 IK 解用于监督底层控制器。 图片出处
图6:全身能力测试结果。(a) HuMI 在四项任务上的表现;(b) 基线方法的失败模式,红框标示失败行为的细节;(c) 各任务的成功率。 图片出处

人形机器人全身操作(跪地捡物、下蹲取瓶、拔剑、投掷)目前主要靠遥操作或视觉仿真到现实强化学习:前者要操作者稳住机器人并补偿跟踪误差,后者需要复杂奖励塑形与域随机化,扩展到多任务多环境不易。

HuMI(Humanoid Manipulation Interface,人形操作接口)把数据采集从机器人本体上拆下来:演示者用带相机的手持夹爪加五个无基站的全身追踪器采集,记录两夹爪、骨盆、双脚共五条位姿轨迹,并产出同步图像观测与任务空间 SE(3) 位姿轨迹;身体姿态不做比例缩放,改为提供实时逆运动学(IK,inverse kinematics)预览,让演示者当场把动作调进目标机器人的可达范围。部署端是分层结构:5 Hz 扩散策略(Diffusion Policy)输出关键点轨迹块,50 Hz 全身控制器把目标转成关节指令;新动作块锚在上一"计划位姿"而不是"实际执行位姿",避免块边界反向抖动。

在 Unitree G1 真机上,单膝跪地捡物成功 17/20,去掉在线 IK 预览的消融版本降到 1/10;拔剑 17/20,末端执行器跟踪误差 15.7 毫米,去掉变速度增强后降到 5/10、误差升到 21.2 毫米;泛化实验 20 次实机运行成功 14 次(70%);同为 15 分钟采集场次,HuMI 得到 60 条有效演示,TWIST2 遥操作为 18 条,有效演示吞吐超过三倍。

以上数字和结论都出自作者论文自述,本次材料未含第三方复现。

点评

给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。

可核查的边界有四点:所有实机实验都在 Unitree G1 上完成(作者称目标本体约 130 厘米高),本次材料中没有其他人形本体的结果;泛化结论来自单一代表性任务(下蹲取瓶)的 20 次运行、成功 14 次,作者自己也把它限定为"在这一个有代表性的任务上";能力类任务每个任务只有 20 次试验,各项消融只有 10 次试验,样本量偏小;采集效率对比是在拔剑任务的 15 分钟场次上与 TWIST2 进行。全部数据为作者论文自测,本次材料未提供独立复现证据。

192026-11-06 · arXiv · 作者论文WorldBridge:桥接视频与动作,实现世界动作模型的任务泛化
图1:WorldBridge 总览。该系统是一个面向任务泛化的基础 WAM(原文未给出缩写全称)。WorldBridge 利用异构数据源,采用简洁而有效的模型架构分两个阶段训练。下方各面板分别报告在不同视频与动作监督设置下的任务泛化结果、基准测试性能以及真实环境部署结果。 图片出处
图3:WorldBridge 模型架构总览。 图片出处

机器人要执行训练集之外的新任务,往往拿不到带动作标注的示范,这就是"任务泛化"的难点。论文把它拆成两层:视频泛化预测新任务在画面里如何展开,动作泛化把预测变成可执行动作,中间的"视频到动作的桥"承担逆动力学模型(由观测反推动作)的角色。在 RoboTwin 2.0 上只用分布内数据时,分布外成功率 25.07%;加入这批任务的视频但不给动作标注,升到 55.90%;每个任务再补 1 条动作标注示范,升到 70.70%,补 5 条时为 84.67%。视频覆盖决定"能想象哪些任务",极少量动作标注决定"能否把想象变成控制"。

WorldBridge 是世界动作模型(WAM,同时预测未来画面与机器人动作的模型):视频分支与动作分支参数分开、经联合自注意力互联,并用分阶段注意力掩码把通路固定为"记忆与当前帧→未来画面→动作"。本体开发可直接借用的是统一 46 维动作表示加逐维有效掩码,机器人轨迹与第一人称人手数据可混训,换本体只需加输入输出适配器。

作者自报:清洗后语料 3,381,561 段、22,321.21 小时;RoboTwin 2.0 全数据 96.23%、仅干净场景数据 80.9%,RoboCasa GR1 TableTop 82.8%,DOMINO Level-1 57.6%;真机在 G2 与 AC-1 上平均 72.5%,去掉联合视频—动作预训练降到 46.7%。部署上把视频去噪从十步压到一步,配合编译与 CUDA Graph 回放,中位模型调用延迟从 957.2 ms 降到 103.9 ms。数字均为作者自报,"最优"只在所比较方法之间成立,本次材料未见独立复现。

点评

对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。

全部结果为作者在 arXiv 预印本中的自报,本次材料未见独立复现;摘要中的"最优"仅限论文所比较的方法,表中部分对比条目取自官方排行榜快照,基线版本可能与其他表格不一致;真机结果来自作者自建任务集,与公开仿真基准协议不同,不能直接互相比较;预训练语料与算力规模大(清洗后 22,321.21 小时数据),中小团队难以复现。

202026-11-10 · arXiv · 作者论文SSR:面向开放世界的稳健对称人形行走(作者论文,arXiv:2605.30770v2)
图2:SSR 框架总览。该策略结合一个循环等变编码器(recurrent equivariant encoder)、一个估计器和一个 MoE 演员(MoE 即混合专家,Mixture-of-Experts),基于第一人称深度图像与时序本体感觉信息,学习在地形间的统一行走。训练过程中,SSR 通过三种机制学习稳健、对称且类人的运动:(a) 想象落足点引导,用于接触前的密集摆动修正;(b) 等变隐空间增广,用于高效的对称性学习;(c) 面向地形的多判别器 AMP(对抗式动作先验,Adversarial Motion Prior)。 图片出处
图9:(a) 人形机器人在一处工业遗产公园完成连续 1.3 公里、40 分钟的长时程穿越,可靠跨越尺寸各异的台阶、高平台、崎岖地面与草地斜坡。我们进一步测试了 (b) 外部扰动下的鲁棒性,包括手推车晃动以及在下行楼梯时受到推力;(c) 高草造成的视觉遮挡;(d) 零样本迁移到分布外(OOD)地形,包括镂空格栅地板、湿滑的手推车、可移动的叉车托盘、净宽 1.3 米的开放式立柱楼梯以及螺旋楼梯。 图片出处

任务:让双足人形机器人在有人居住的环境里走得稳——运动中要靠自带相机判断脚下哪里踩得实、哪里是台阶边缘或空洞,同时保持左右腿协调、动作自然。把落脚安全做成"只在脚触地后"才出现的稀疏信号时,摆动腿还在半空就得不到反馈,容易踩边打滑。

这次改了什么:SSR(作者论文,arXiv 预印本 v2)是单阶段端到端强化学习框架,只用腰部前向深度相机加本体感知直接输出关节动作。三处设计:想象落足点引导——训练时预测摆动腿即将接触的位置(用高斯分布表示),触地前就评估该落点的支撑情况,把稀疏的接触时安全判断变成摆动阶段的稠密信号;等变潜空间对称增广——镜像施加在编码器压出的紧凑潜变量上,不必重新编码深度图、也不必重放镜像后的循环网络记忆状态;按地形分类的多判别器动作先验(AMP,对抗式动作先验)——用各地形类型各自的参考动作约束步态风格。

结果与条件(均为作者自测):仿真以 4,096 个 AgiBot X2 并行训练约 20k 轮(单张 RTX 4090),全部训练难度上成功率接近 100%,并外推到课程范围之外的 90 cm 沟壑与 45 cm 平台;与输入级镜像增广的对照基线 InpSym 相比,峰值显存从 28.8 GB 降到 23.7 GB(18%),训练可在单卡完成。落脚安全性用安全落脚率(SFR,支撑比例高于 75% 的落脚点占比)和平均支撑比例(MSR,逐落脚点平均)衡量,消融中去掉落脚引导或想象分支的降幅最大。真机零样本部署:上楼与下楼 15 cm / 30 cm 均 100.0%(20/20),80 cm 沟壑 95.0%(19/20),40 cm 平台 100.0%(20/20);作者表中另列 Hard Settings 两项,90 cm 沟壑 85.0%(17/20)、45 cm 平台 95.0%(19/20)。户外路线连续走 1.3 km、约 40 分钟无重置。

点评

对做机器人本体软件的工程师,可直接借鉴的有三点:一是把落脚安全判断从"触地之后"提前到"摆动腿还在半空",这属于奖励与信号设计层面的改动,不必替换整套控制栈;二是把左右对称增广从输入级(原始深度图)挪到潜变量级,作者称相对对照基线 InpSym 峰值显存 28.8 GB→23.7 GB、单卡可训;三是"深度图 + 单策略 + 不建图"是一套可照抄的落地组合:腰部 D435i 以 60 Hz 采前向深度,640 × 360 裁剪到 36 × 36,Jetson AGX Orin 上 50 Hz 推理。跨平台结果提示方法可换到不同尺寸本体,但需要在目标机型上从头重训,而不是直接迁移同一策略。

证据身份:全部内容来自作者论文自述(arXiv 预印本 v2),未见独立复现或厂商侧验证,成功率均为作者在自家条件下的测量。实机每种地形仅 20 次试验,样本量小;仿真对照基线为 HPL 与 PIM,作者报告二者随难度上升迅速退化,不宜据此做跨论文横向排名;论文图表中曲线上的具体数值未以文本形式出现在抓取内容里,只有定性描述,故本报告不引用这些数值。表中带 ★ 的两项(90 cm 沟壑、45 cm 平台)被作者单列为 Hard Settings。附录中 DR02 的逐项成功率只以表格形式给出、没有逐项说明,跨平台结论基于在 DR02 上从头重训而非同一策略直接迁移。作者自列的局限包括:固定前视深度相机覆盖有限、强光镜面反射会扭曲局部几何、想象落足点用单高斯难以表示踏步石等稀疏地形上的多支撑、镜像对称假设不适用于明显左右不对称的本体或单侧任务、主要关注足地接触而未涉及上身接触。