策略失效该由哪一层补救：运行时编排、跌倒恢复、失败纠错与显式记忆；评测先对齐口径

分层控制里，高层策略给任务级目标，低层控制器做快速反馈执行。人形机器人搬运时，打滑或意外接触要求它减速或先恢复平衡，而高层目标不编码这些快速物理变化，于是匹配目标的低层指令物理上仍可能不可行。作者把这种固定映射的失效形式化为策略编排：运行时同时决定用哪个低层策略、给它什么目标。

论文提出 EPO（基于能量的策略编排），插在高层策略与一组冻结低层策略之间：对每个策略单独学一个复合能量（可行性概率与目标一致性概率的负对数之和），能量越低表示越可行、目标实现越准。运行时先用梯度下降把各策略的目标微调到更低能量，再执行能量最低的"策略–目标"对；目标微调 10 Hz、策略选择 50 Hz。新增策略只需训练自己的能量模型，不必重训已有策略或集中式调度器——加一个策略约 30 GPU 分钟，混合专家（MoE）门控每次变更需重训 40–60 GPU 分钟。

在 Unitree G1 的 Isaac Lab 仿真中，EPO-M2 把归一化跟踪误差从 0.568 降到 0.542（对比鲁棒型策略），加权存活率 96.8% 对 97.7%；站立操作下 EPO-M4 误差 0.420 对 MoE-M4 的 0.461，每回合切换 2.08 次、MoE-M4 为 15.46 次。消融显示鲁棒性主要来自可行性项：只留一致性项时推挤存活率从 96.4% 掉到 78.9%（移动操作）、95.3% 掉到 58.6%（站立）；去掉目标微调可把编排频率上限从 83 Hz 提到 615 Hz，代价是干净跟踪误差增加约 1.5%。

真机上冻结策略与能量模型直接部署到 Unitree G1，演示搬箱、被篮球击中后恢复、开门，未做微调。局限：跨策略比较依赖学到的能量模型，分布偏移或新策略校准不佳时可能失准，开销随候选策略数增长，且不替代动作级安全滤波；本次材料只有作者论文本身，未见独立复现。

人形机器人摔在桌子、货架或倒板下面时，常用的起身动作往往用不了：抬起躯干会顶到头顶障碍，原地不动又没有站立空间。难点在“先清空间”和“撑稳起身”互为前提，往哪挪也取决于现场：可动的障碍能推开，固定的只能绕到边缘外；把逃离方向写死在方法里，换个场景就得重做。

作者把这件事改成可学习的奖励：接触支撑的几何逃离引导，按机器人与障碍重叠量的逐步减少给奖励，但不规定逃离路径；再叠加学到的类人运动先验、姿态相关的支撑成本，以及足端运动成本和关节停滞成本。训练分三阶段：平地起身、姿态细化、加入障碍交互与几何引导。策略输入是 93 维本体感知，输出是 29 维关节位置目标、由 PD 控制器跟踪；障碍几何和接触信息只在训练时用于算引导。

作者自报：仿真里只能被抬起的板下恢复率 88.5%，去掉几何引导只剩 18.9%；尺寸、质量与位置随机的自由板下为 98.6%。真机 Unitree G1 在七个真实障碍场景的 150 次尝试中成功 95 次，其中家具与多物体组合训练中未出现过。

限制：数字均为作者自报，本次材料无独立复现；真机只给次数不给百分比，与仿真的百分比口径不同，不能直接比；成功判据是持续站立而非与障碍完全分离；仿真障碍只有板状两类，场景覆盖有限；证据为 arXiv 论文页面的一次抓取快照，材料只到方法部分，实验设置、基线与消融细节不可查。

批量推理时同一条观测的输出可能随批次组成而变：同批提示词被补齐到最长，真实机器人形态也只填满固定动作画布（action_horizon 动作时域 × max_action_dim 最大动作维度）的一部分；若填充位对动作头可见，同一句指令仅因批次不同就可能得到不同动作。NVIDIA 在 Isaac-GR00T 仓库的这次修复（README 训练提示章节记载）把它变成两个可选开关：--strict_vl_padding_mask 把左填充的视觉-语言 token 挡在 vl_self_attention 栈与动作头扩散 transformer（DiT）交叉注意力之外；--strict_action_padding_mask 把补齐的动作维度与时域 token 挡在动作编码器与 DiT 自注意力之外。两者默认继承 checkpoint（已训练权重）且对已发布 checkpoint 保持关闭，新训练可开启，状态写入 checkpoint 的 config.json（动作掩码另写 processor_config.json），微调未显式指定则沿用。官方只给出一个量化：关闭视觉-语言掩码时，一条观测的动作会随同批次其余样本的提示词长度偏移约 2% 的动作量级，且是在合成骨干特征上用已发布 checkpoint 的动作头自测，不是真机成功率。代价在部署链路：开启后 TensorRT 导出图不接受掩码输入，vl_self_attention 需留在 PyTorch，纯 DiT 的 TensorRT 路径拒绝含视觉-语言填充的批次；严格动作掩码训练的 checkpoint 必须用 PyTorch 动作头服务，TensorRT 导出与引擎替换路径直接拒绝。背景是 N1.7 正式发布（GA），骨干换为 Cosmos-Reason2-2B（Qwen3-VL 架构），状态/动作维度由 29 扩到 132、action_horizon 由 16 扩到 40，rollout 参数改名为 --execution-horizon。

从第一视角人像视频学灵巧操作，难点在于：一条演示要变成换个位置也能复用的技能，同时不能出现物理上不成立的接触和别扭的手指姿态。这篇论文（HandMimicX）的折中是把强化学习（RL）目标从人手轨迹改成物体运动：策略只管把物体送到目标位姿，手的姿态由真实演示的接触与手势约束。

输入是一段第一视角 RGB-D（彩色加深度）视频。作者用现成工具恢复物体网格、手部世界坐标姿态和接触区域（SAM3D、HaWoR、HACO），在接触起始时刻把手型、手物相对位姿和区域级接触合成“交互先验”来正则化策略；相机晃动带来的尺度漂移和手物错位，靠把手部表面对齐到深度观测点修正。策略为 actor–critic 结构，同时控制 6 自由度 UR5 机械臂和 20 自由度 Wuji 灵巧手；先在超过 3200 个物体上预训练再按任务微调（30K 步预训练、每任务 10K 步、4,096 个并行环境），最后用 DAgger 把教师策略蒸馏成只依赖真机可得观测的学生策略。

仿真八个任务按“依次通过 5 个随机路点、全到达才算成功”评分为平均 85.4%，基线 SimToolReal、Dex4D 分别为 57.3%、66.8%；消融去掉交互先验、点对应模块、预训练后依次降到 75.1%、78.3%、73.3%。真机八个任务各 10 次试验，平均 71.3%。这些数字均为论文自报。

机器人把环境存成可用自然语言提问的记忆（检索增强生成，RAG），但这类记忆直接来自感知，错标签、错位置会长期留在库里；现有做法要么假定一次采集的库可靠，要么跨轮次只追加、不修正旧错。SPARK 要解决的是：机器人没有真值时，怎么诊断并修好已建好的记忆。

方法是三步闭环：由视觉语言模型（VLM）驱动的语义审查器独立于具体提问，用合理性（标签是否被图像支持）、密度（视野估计与库存对比）、图覆盖（簇的支撑观测过少）三个信号标出可疑区域；定点规划器把可疑区域转成重访视点去补采证据；选择性合并再据新观测对记忆增、删、改。

在 AirSim 仿真器的四张室外地图、两种退化视角、158 道固定具身问答题上：一次纠正把平均得分从 0.306 提到 0.531（未退化参考 0.488），同时比“只追加”少存 13–41% 物体。消融显示，三信号合并后对恢复不佳区域的召回从 0.667 升到 0.800；定向重访只略优于非定向（+0.154 对 +0.147），仅三图占优。到第 3 轮，四张图均超过各自的未退化参考，之后收益趋平。

这些结论只在仿真里成立：位姿视为精确真值、环境静止、只测室外场景。作者自述这是首个不依赖真值自我修复具身记忆的框架，本次材料未见第三方复现。

在仿真里比较两个 VLA（视觉-语言-动作）策略时，常见做法是让任务、随机种子和回合编号一致，就认为两边面对同一个初始状态。论文指出这个前提不总成立：向量化仿真的 reset（重置）与 autoreset（自动重置）下，策略更早结束会改变后续回合的初始状态分配，同一回合编号未必对应同一场景。

方法上，作者提出由五条不变量 I1–I5、逐回合溯源日志、可选场景指纹和自动检查器组成的评测完整性框架，检查器对每条不变量输出 PASS/FAIL/SKIPPED 三态。实验在 LeRobot 0.6.1 + LIBERO 仿真台上用模拟控制器隔离评测框架自身行为，证据分为四级。

结果上，混合回合长度的 Sync 模式首轮补位的实测初始状态 ID 为 [20,5,22,7]，连续递增的预期是 [4,5,6,7]，作者归因于错开的截断使各槽位计数器推进不同；作为对照，同步回合长度的分开作业 16 个单元、160 对回合零不符。Async+Freeze 下不同批大小映射不同，检查器报出 12 条不匹配，批大小 8 的运行挂起未完成、机制未隔离；合成的 McNemar 示例显示错按回合编号配对会让差异显得更显著。

边界：结论仅覆盖 LeRobot 0.6.1 与少量任务、种子，控制器为模拟，未做真实 VLA 共享向量化实验，作者不主张现有 VLA 榜单普遍无效。工程上可先记录初始状态身份再跑检查器，然后才做配对统计。

真机评测策略时，每次执行都会顺带产生带标注的失败数据，但这类数据很少作为数据集公开。作者对比八个代表性真机基准后指出，没有一个把评测回合作为带标签的语料发布。

ArmnetBench v0.1 评测的全部回合被整体放出：3,718 条、约 26 小时，含 600 条遥操作演示和 3,118 条策略执行回合，每条带成功、次优或失败的人工标签，并提供 LeRobot v3.0 与 Robometer 奖励模型两种格式，在 Hugging Face 上开放。对机器人本体软件开发者，这些带标签的失败样例可直接用于训练成功判别器和回合级奖励模型、筛出模仿学习样本，或转成离线强化学习的终止奖励。

12 个桌面任务各有 50 条遥操作演示，7 种策略（模仿学习与视觉-语言-动作，即 VLA 模型）都在同一批演示上训练或微调，并在同一个工位执行，因此同一任务下能看到多个策略各自的失败；全部由同一位操作员标注。硬件是同处一室的 3 个 SO-101 工位（两个单臂、一个双臂），每工位 3 路 20 fps 相机，记录关节与夹爪位置。

3,118 条执行回合里成功 724 条（23.2%）、次优 106 条（3.4%）、失败 2,288 条（73.4%），失败占七成多正是它区别于纯演示数据集的地方。次优样本只有 106 条且集中在 4 个任务，标签实际接近二元、不含部分进度信息；成功回合在完成时截断、失败回合录到操作员停手，回合长度和结尾的静止动作会泄露标签，训练需做长度对齐或截断；失败回合的 next.done 只表示操作员停手而非终止状态。

预训练视觉-语言-动作（VLA）策略适配到新机器人时，最贵的一步是采集目标机器人的演示数据；人手演示便宜得多，但人手与机器人手差异明显，直接混训往往学不到目标行为。核心问题是：没有成对的人机数据时，怎么把人的演示变成机器人可执行的任务。

作者提出 H2RB（Human-To-Robot Bridge，人-机桥接），把人机演示放在一起训练，在感知与动作两侧搭桥。感知侧是几何锚定对齐：用腕部位姿与五个指尖位置作为跨本体共享的物理参照，把视觉语言模型（VLM）的条件特征对齐过去，无需配对数据。动作侧是解耦解码器的隐动作分词器：共享编码器把两类动作片段编进同一隐动作空间，两套独立解码器分别还原，共享隐变量而不强行统一动作映射。

在 OpenArm 人形机器人（Inspire 灵巧手，策略从机器人预训练的 RLDX-1-IMG 初始化）真机上，按 0–100 加权任务进度分评估：仅由人手演示引入的新物体抓放从共训基线的 8.0 升到 51.8，摆放偏移时从 6.0 升到 45.3；机器人源数据中没有的开合技能得 62.7，共训基线在技能上均为 0.0。消融显示分词器把物体迁移从 34.7 提到 43.3、技能迁移从 0.0 提到 49.7，跨域正则把隐空间差距从 3.81 压到 1.53。

再叠加大规模异构人机预训练，物体迁移升到 57.2、技能迁移升到 81.7。但这是作者自报的加权进度分：部分完成也计分，每个条件只训练一个策略，物体迁移的完全成功率只有 12.2%。

问题：机器人策略抓空之后往往毫无察觉，会照着"手里有东西"的轨迹把动作跑完。作者在 RoboCasa 的拾取放置任务上做了一组对照实验：由预言机（oracle，按模拟器判定标出失败点）在失败处中断执行，再给三次纠错机会。结果重采样、用语言说明错在哪、用恢复数据微调三种办法都几乎无效，纠正成功率不足十分之一；失败之后再靠打分器挑出成功候选同样失效。

方法：Spotter 把角色对调——具身模型持续主导执行，本地轻量筛查器逐块筛查，只把可疑片段交给并行运行的裁判（Qwen 或 GPT-6 Astra）；错误确认后裁判才介入，用可枚举的运动基元（移动、抬升、旋转手腕、开合夹爪、退回位姿等）拼出修复计划，并先说出"预期看到什么"，在下一个受监督窗口只做观察。修复不回滚模拟器，而是把手臂退回已记录的位姿，因此整套方法可以搬到真机。

结果：同等步数预算下，RoboCasa 上 Cosmos Policy 达 73.5%、π0.5 达 71.8%，比裸策略高 5.6 和 7.5 个百分点，增益集中在拾取放置任务（+10.3、+9.0）；RoboTwin 2.0 的 Hard 档上 π0.5 从 47.2% 升到 57.0%（Qwen 裁判 51.2%）；真机 Franka Research 3 三个任务平均从 53%（16/30）升到 83%（25/30）。成功的 Qwen 回合只比裸策略多 13–16 秒。分析显示，裁判介入的回合约 85% 确实是裸策略会失败的场景，单次修复纠正其中约 10%–20%。

机器人操作策略普遍复用为静态识别或图文对齐训练的视觉编码器（CLIP、SigLIP、DINOv2），把运动交给下游控制；编码器因而盯上视觉显眼但与控制无关的区域，而非被操作的物体或接触点。DynaFLIP 的思路是把运动理解上移到感知层：用图像帧对、语言和 3D 流动（补偿相机运动后的三维位移）作训练期监督，塑形一个测试时只看单帧的图像编码器。

三种模态互补，且都能从无动作视频提取，因而可用大规模人类视频。核心机制是让三模态嵌入在共享单位球面上张成面积尽量小的单纯形（即三角形面积），体积越小对齐越强；为避开几何歧义与平凡坍缩两个退化，作者把面积最小化与余弦正则、InfoNCE 式对比框架结合，另加时间对比损失与 actor 损失作辅助目标。

消融显示对比框架最关键：LIBERO 四个套件平均成功率，完整方法 44.0，去掉负样本三元组降至 18.1，去掉余弦正则 39.8，去掉 3D 流动 37.1，去掉语言 35.4。作为可复用骨干，LIBERO 五个套件在冻结编码器下平均 41.5（LoRA 微调 81.0），优于 SigLIP 与 DINOv2；MetaWorld 平均 78.9，RLBench 54.0。真机上把冻结编码器以轻量视觉注入接入视觉-语言-动作模型，在 UR3 机械臂评测同分布任务与两类分布外扰动（视觉/空间、语义），作者报告相对最强基线最高提升 22.5%。

限制：预训练仅 260K 轨迹，小于若干大规模视觉与视觉-语言基线；3D 流动由均匀 20×20 关键点网格估计，会纳入与任务无关的运动，可能引入噪声监督。本条为 arXiv 滚动更新流的 v2 预印本，未经同行评审；数字均为作者自报，本次未独立复现。

LeRobot 把 NVIDIA 的 Cosmos3-Nano 微调成 LIBERO-10（基准的十个任务子集）的 LeRobot 操作策略，公开了优化器第 2000 次更新的 EMA（指数滑动平均）权重和一条 `lerobot-eval` 复算命令。对做机器人本体软件的工程师，用处是能按同一口径把数字重跑一遍：模型卡要求先把 MuJoCo 降到 2.3.7（锁文件默认装 3.8.1），因为 3.x 会改变接触丰富任务的结果，两个版本的成绩不可比。

输入是任务指令加第三人称、腕部两路 256×256 RGB 图像，不接本体状态；策略一边预测场景的未来视频，一边输出 16 个动作的分块，动作是 10 维（位置增量 3 维、rot6d 六维旋转表示 6 维、夹爪 1 维），由环境处理器转成 LIBERO 的 7 维动作，骨干为 Qwen3-VL MoT。训练用 lerobot/LIBERO_10-Cosmos3 的 379 条 episode（评测回合，10 个任务、全部使用、无验证划分），32 张 A100-SXM4-80GB、全局批 2048。

发布方自评的闭环成功率是 97.6%（488/500），同表 Cosmos3-Edge 版为 95.2%（476/500），另列一项技术报告数值 97.40%。评测为 10 个任务各 50 条、共 500 条 episode，策略预算 510 步（环境 10 步稳定期后计数），采样用 UniPC 30 步、不做分类器自由引导，每块 16 个动作全部执行。

这些数字是发布团队在自家仿真基准上的自测，材料中没有独立复现。模型卡还标了三处口径差异：3.x 仿真器的结果不可比；策略预算沿用原生 Cosmos3 设定，短于 LeRobot 默认值；预处理的视频画布步骤跑在 CPU 且关闭 cuDNN 基准测试，而 `lerobot-eval` 会把预处理放到策略设备并开启该开关，输入与采样会有小的数值差异。

擦玻璃时机器人看不出这一块是否已擦过，会反复擦同一处。难点不在单步动作，而在于当前画面不足以决定该做什么：现有 VLA（视觉-语言-动作模型，直接把观测与指令映射为动作的策略）大多默认马尔可夫假设，只看当前观测，在需要工作记忆的任务上会系统性失败。

作者提出 HeLM（Hierarchical Explicit Language Memory，分层显式语言记忆），借鉴人的"内心独白"，把任务相关历史直接写成自然语言。高层策略 HLP（Qwen2.5-VL-7B）维护记忆并下发动作命令，低层策略 LLP（π0，一种视觉-语言-动作模型）执行动作；记忆分为单条指令内的工作记忆和跨指令的情景摘要，且更新由事件触发——只有检测到任务相关事件或指令变化时才改写。

在 10 个非马尔可夫真机任务、56 个变体（含五个跨指令任务）上，指令内子任务成功率 85.7%，关键帧-HLP 为 72.9%，PCMB-π0 为 39.5%，无记忆的 Naïve-π0 仅 16.7%；换成"全部子任务完成、顺序正确、正常停止"的严格口径，HeLM 保持 81.3%，关键帧-HLP 跌到 29.3%，两个 π0 基线为 0%。跨指令任务上 HeLM 平均 89.2%，关键帧-HLP 仅 16.6%；两个 π0 基线因在回合边界重置内部状态被排除，作者称专用跨指令基线仍待提出。

任务加长到七个子任务时，"按 N 次"仍为 100%，"按顺序按"最低 77%；短序列下自回归生成文本反而更慢，但长序列下比关键帧基线快 2.5 倍，8 个事件时峰值显存不到 6 GB，基线为 28 GB。仿真基准 LIBERO-Mem 上平均 58.5%，对比 π0.5 基线的 36.5%。以上均为作者论文自报结果，尚无独立复现。

视觉-语言-动作模型（VLA，把语言指令直接转成机械臂动作）有个上线后才暴露的盲点：指令在微调数据里缺少示范时，模型会忽略指令、改做练熟的动作、挑训练中最常见的物体，作者称之为反事实失败。只喂图像、不给语言时，OpenVLA-OFT 与 π0.5 在 LIBERO 上的平均成功率仍有 69.1% 和 51.7%；撤走场景中的训练任务物体后，反事实指令命中率 39.0%→64.4%、成功率 20.0%→40.0%。

为此作者推出 LIBERO-CF：在 LIBERO 场景布局不变的前提下换成同样可行的新指令，覆盖不同物体实例、原本只作背景的物体、长程任务以及微调时未见的分布外物体。基线在反事实指令上几乎不跟随：OpenVLA-OFT 命中率仅 4.7%、成功率 0.4%。

解法是 CAG（反事实动作引导）：推理时并行走两条分支，一条吃语言、一条不吃语言，把两者动作之差放大后输出，不需要改基座架构或预训练权重。免训练版 TF-CAG 复用现有模型、不额外训练；改配独立视觉-动作（VA）模块的 VA-CAG 提升更大。π0.5 在 LIBERO-CF 上：TF-CAG 平均命中率 30.8%→40.5%，VA-CAG 到 46.3%，成功率 13.2%→21.7%；真机上 VA-CAG 平均命中率 +9.4%、成功率 +17.2%。

代价是多跑一条分支：延迟低于基线两倍、每个 15 步动作块约 130 毫秒，VA-CAG 还需另训一个只看图像的分支（8 张 H100 上 LIBERO 约 3 小时）。作者也承认，如果基座本身不具备某项技能，动作空间里的引导补不出来。