截止:2026-10-10 17:27:33 +08:00(Asia/Shanghai)。主要窗口:2026-07-13 00:00:00 至截止时刻,包含 90 个当地日期。获取日期为 2026-10-10;逐次获取时间、原始 URL 与响应指纹见 获取记录。本记录保存结论依据,读者入口见 技术基线。
检索范围与时间规则
沿 T01 的四条主线读取论文方法、评测、限制和对应开放产物,未重做全部来源审核。针对近期变化,实际检查 RLinf/WALL/SONIC 的 arXiv 版本历史及前后版本、DeepMind RSS(100 条)、Isaac Lab(10 条)、LeRobot(10 条)、MuJoCo Playground(6 条)、RoboCasa(2 条)的 release Atom,并回读选中正文。另读 Galaxea G0.5、Cosmos 3 Edge,以及 GR00T 的代码、release 和权重卡。
补充执行 arXiv 按更新时间倒序检索:vision language action reinforcement、world model robot。获取各首屏 50 项返回结果,筛读各前 12 项题名与日期,不翻页,不视为行业穷尽检索。发现的 DreamTrue、Many Ways to Succeed 等仅列增量候选,未核查方法与实验,不用于本基线结论。对照材料以能回答指标、迁移及接口问题为准,不按论文数量取样。
论文日期来自 abs 的 Submission history;固定正文链接含版本。GitHub Atom updated、release 的发布时间、commit 作者时间分别对待。获取时间晚于截止时刻的读取,只使用截止前已发布的论文/tag、可定位的模型快照;无逐版存档的滚动网页仍有还原限制,不凭其当前措辞推断发布日或窗口内新增能力。GitHub commit API 限流后改读固定 raw/发布页;commit 指纹不等于功能发布事件。未核查到新增发布不等于没有研究进展。
1 学习路线与后训练
a1-rlinf
训练效率、成功率与人工监督
原始依据:RLinf-VLA v3 §IV、§V-A/B/D、§IX;版本历史。首发 2025-10-08,v2 2026-02-07,v3 2026-08-12。对照 v2,v3 增加 §V-D 真机关抽屉实验,并扩展模型/算法实验与基准说明;不把首次提出框架改写为 8 月事件。
- §V-A 的成功率属于指定仿真协议:LIBERO 是一个模型联合训练 130 任务,按任务 50 episodes、3 seeds;RoboTwin 是六个任务各自模型、1,000 训练场景种子与 128 未见评测种子。不能与不同数据划分或每组单独训练的榜单直接排名。
- §V-B / §IX-B 的训练吞吐定义为 rollout 环境帧数除以一个训练 epoch 的墙钟时间,比较硬件规模和分配方式;最高 2.27× 是相对既有训练框架的加速,不是机器人成功率或动作频率。
- §V-D:20 条真机示范 + 1,000 条仿真轨迹得到 SFT 基线,再做仿真 RL;相机位姿、机械臂配置对齐。关抽屉两组均 8/10 成功,作者观察到 RL 动作更直接、更流畅。 没有据此证明成功率提升,也没有量化总人工成本下降。小样本、单任务不能推广到通用迁移。
USER 对照:v4 §III–V、Table II–V、附录 A/C/D;历史:首发 2026-02-08,v3 02-12,v4 08-31。v3 已含持久 buffer、异步架构和相同的 VLA 成功计数;v4 重组系统论述,补相关系统比较,并明确 VLA 为全参数训练。不将 39/60→58/60 当作 8 月新获得的能力。
Franka 五类主实验中,CNN/flow 用本地 RTX 4090 24GB,π0 用 4×A100 80GB。CNN 的 SAC/RLPD/SAC-Flow 与 π0 的 HG-DAgger 在线模仿学习必须分开:Table III 抓放 39/60→58/60、桌面清理 9/20→16/20,是 SFT 后加入人工纠正的结果,不是无人工 RL。Fig.10 的训练 episode 由操作者介入保证成功;奖励有规则、人工二值标签和学习分类器。§V-E 的训练吞吐提升来自流水重叠,频繁权重同步还可能损害收敛。报告没有统一核算示范、监督、重置和失败处理的总人工成本。
开放依据:RLinf 固定 README(commit 作者时间 2026-10-08),提供训练/机器人接口入口;源码可读不等于论文所有配置已复现。目标:K01.03、K03.01.01、K02.07、K09.01、K06.02。
a2-recap
从真实经验改进的背景依据
RECAP v2 §IV–VII;历史:首发 2025-11-18,v2 11-19,窗口外背景。方法以价值函数和 advantage conditioning 利用示范、自主轨迹与人工纠正,按批次收集后离线更新,不是实时全自主在线 RL。
§VI 的吞吐是每小时成功完成的任务数,同时包含成功与速度,不能与 RLinf 的训练帧吞吐比较。定量任务为叠衣服、双份 espresso 和装箱的特定变体;例如 espresso 要在 200 秒内完成全部步骤且无关键错误,多样衣物的定量测试选衬衫。§VII 明确仍需人工奖励标注、介入和 episode 重置。作者的 13 小时咖啡运行陈述不等于 13 小时免人工运维证据。
openpi 固定 README 支持表为 π0、FAST、π0.5;本次未确认 RECAP 完整训练配方与对应权重在该入口开放。该 README 的发布/修改时间未确定,仅作获取时开放清单;PI 最新博客未重试,T01 的访问缺口仍保留。目标:K03.01.01、K02.07。
a3-interfaces
分层与统一动作流
Gemini Robotics 2 官方说明 的模型介绍、agentic reasoning、on-device、limitations 段:ER 处理多步任务与进展,VLA 输出动作,On-Device 是端侧型号。官方声明 ER 2 可经 AI Studio / 指定平台预览访问,VLA 与 On-Device 面向 early-access partners;不能写成全系列开放权重。多指精细操作和速度仍有局限,页面没有足够逐任务样本/协议供独立比较。
日期冲突保留:文章结构化元数据 datePublished=2026-07-30T16:00:00Z、dateModified=2026-08-25T09:18:43Z,官方 RSS 同 URL 的 pubDate=2026-07-28T13:21:37Z。采用页面 07-30 作为文章标示发布日,不能将 feed 日期、8 月页面修订认定为另一模型发布;无旧网页版本,未确认 8 月修改具体内容。
国内路线对照:G0.5 v1 §3、§5.3/5.6/5.7、§6;历史首发 2026-08-12。Qwen3.5 2B 初始化,统一自回归 token 流生成推理与 ActionCodec 动作,另有可选 flow head。§5.7 仅在筛选的四个 LIBERO 任务、每任务一条示范起点下比较 GRPO,不能推成 AR 普遍优于 flow。§5.6 长任务 CoT probe 运行时提供分阶段子目标;§5.3 BEHAVIOR Task Success Score 计目标谓词完成比例,不等于二值完整成功。§6 承认抽屉/半透明柜体弱项和仅数秒记忆。
Galaxea 官方仓库 News/License 在获取时可读代码、模型入口,当前材料为 G0.5 社区许可,非商业用途与另行商业许可分开;2 月 G0Tiny/Orin 的 10 Hz 不是 G0.5 性能。README 首发/修改未知,不据滚动页断言窗口内新增开放。目标:K01.03、K01.06、K03.04。
2 世界模型、仿真与数据
b1-wall
生成质量、任务进展、完整成功分开
WALL-WM v2 §3–5、§7、§8、§9.5、Tables 4–7;历史:首发 2026-06-01,v2 09-06。对照 v1:v2 明确真机 Task Progress 定义/评分 rubric,并增加 §9.5 的 RoboTwin 零样本二值成功评测;核心事件级建模路线不是 9 月首次提出。
- 事件级视频/动作联合预训练,用事件文本连接上层推理与动作;视频 tower 的预测指标、真实动作收益分别评估。§7.1 视频测试含 200 个 ID 与 50 个 OOD 任务,不能换算为真机成功。
- §7.2 是作者自研桌面双臂平台,同步多相机、指定指令和场景;Task Progress 为按任务步骤给予部分分的 0–100 分。Table 4 的 reasoning manipulation 32.6→71.6 是进展分提高 39.0 分,绝非成功率提高 39 个百分点。完整成功率、真机每项试次数、评分者一致性及长期恢复成本未获得足够披露。
- 新增 §9.5 / Table 5:RoboTwin 50 任务×10 次,76/500 完整成功,即 15.2%;这是仿真、未做任务专用微调的结果。26/50 任务至少成功一次,也不是 52% episode 成功率。
- Table 4 的 event 与 base 同时涉及事件执行及 VI-SA 等变化,不能将全部差值归因于单一“世界模型”因素。§8 将高效代理评测列为探索方向,未证明生成指标可普遍替代真机结果。
固定 wall-x README 与 Wall-OSS-0.5 卡片是可读代码/权重入口;其发布日期未确认。Wall-OSS-0.5 不等于 WALL-WM v2 的完整复现包,未核实后者相应权重/训练数据是否成套开放。目标:K01.05、K01.05.01、K02.03.01、K09.01、MODEL-WALL。
b2-transfer
合成数据的真机收益有条件,也有反例
RoboTwin 2.0 v2 §2、§4.4 / Table 4;历史:首发 2025-06-22,v2 2025-08-27,窗口外背景。脚本生成可执行轨迹、域随机化、抓取适配,与单纯视频生成不同。
RDT 策略、COBOT-Magic 双臂、四任务、已见/未见背景及有/无杂物四配置,对照 10 条干净真机示范、其加 1,000 条随机化合成轨迹、仅合成三种训练方式;相机位置扰动上限 1 cm。未见背景且有杂物时,混合数据的四任务平均成功率 9%→42%,增加 33 个百分点;不能写成相对提升 33%。但已见干净背景 Click Bell 36%→24%,已见杂乱背景 Handover Block 16%→12%,收益非逐项必然。论文 §4.4 未明确每个真机表格单元的试次数,本记录不从百分比反推样本量。不能推广为柔性/精密接触已解决或行业统一仿真数据配比。
RoboCasa 固定 README News:2026-05-12 全任务 horizon 增长 1.5×;07-07 composite 数据增加逐帧 subtask annotations,两者均在本窗口之前。commit 作者时间 09-24 不是这两项功能的发布日期。读取 release feed 未确认窗口内新 tag;不能拿较长 horizon 的成功率与旧协议直接排名,追加标注也不等于新增真机数据。
目标:K02.03.01、K02.07、K02.08、K04.05、K09.03.01。
b3-world-tools
世界先验与交互训练不是同一种证据
Genie 3 官方说明正文、SIMA 与 Limitations:发布 2025-08-05、页面修改 2026-07-06,均为窗口外背景。24 fps、720p、数分钟一致性是交互视频能力;SIMA 在生成环境中导航不证明机器人关节动作、接触动力学或真机迁移。动作空间、多主体和交互时长受限。
Cosmos 3 Edge 技术文章正文的后训练、部署、RoboLab 评测段(不采用文首 AI 摘要):发布 2026-08-19,修改 08-20。4B 模型用 Cosmos3-DROID 后训练;RoboLab 120 任务的 22.9% 成功属于仿真闭环。Jetson AGX Thor T5000 的 chunk 生成约 1.53 秒、覆盖约 2.13 秒运动,支持连续执行,不代表每帧观测都重规划。文中部署时 640×540、15 Hz 与数据集打包 640×360 是不同字段;未核对代码中的完整预处理/执行配置,因而不将它作为已独立验证的真机闭环延迟或成功率。目标:K01.05、K03.04、K03.05、MODEL-COSMOS。
Isaac Lab 3.0 EA 发布时间 2026-09-16 22:34:03 UTC(北京时间 09-17);统一任务 API、kit-less、多后端和训练/评测入口。依赖写明 Isaac Sim 6.1、Python 3.12、PyTorch 2.11、Warp 1.16、Newton 1.5.2;后端组合按任务支持。它是窗口内工具变化,不是新的真机成功结果;GA 目标不能写成已 GA。目标:K02.08。
3 运动、全身控制与操作
c1-sonic
从跟踪到任务,分别计算成功
SONIC v4 §2.1、§2.5/Table 1、§2.6、§3.1/3.5/3.7、补充 S1.2/S1.3/S2;历史:首发 2025-11-11,v3 2026-05-21,v4 08-13。对照 v3,已有五类 VLA 任务及 75% 均值;v4 补/细化统计分析、试次数、动作空间比较和部署描述,不是 8 月首次获得 75% 能力。
运动参考经统一 latent token 与本体感知进入关节目标,再由 PD 执行;PPO 跟踪奖励、域随机化与运动数据是训练条件。Unitree G1 29 关节、42M 策略,100M 帧运动、约 21k GPU 小时。§2.1 的仿真成功依局部跟踪误差阈值判定;真机 124 段参考动作各一次,123 段成功,不能混作通用任务成功率。
§2.5 / Table 1 有自主移动操作证据:GR00T N1.5 经过任务示范微调,苹果入盘 300 轨迹、18/20;踩踏板开垃圾桶 200 轨迹、7/10;汽水罐入桶的多步任务 1,000 轨迹、6/10。全身接口为 64 维运动 token + 14 维手关节。表中胡萝卜/清洁块两种 pickup 共用策略,先合成一个任务再计五类任务 75% 均值;它不是六行直接平均,更不是跟踪成功率。补充 Movie S5 说明执行无人工介入,但不覆盖准备、失败重置及全天运维成本。
§2.6 承认长期部署安全、能耗未正式处理;极端/动态动作仍会失稳。补充中 11 kg 落物扰动只是单项抗扰演示,不能写成持续负载能力;室内任务、部分地形演示未构成系统化载荷/地形/跌倒恢复测试矩阵。
时序与开放配置:GEAR-SONIC 固定模型卡,HF API 的快照修改时间 2026-08-26(不是首发日);固定代码 README News 标注低延迟版 06-16、v1.1 07-23。v1.1 增加 heading-normalized 目标方向、wrist-pose augmentation 与配套观测/增益设置,不是低延迟版。默认/v1.1 为 10×20 ms≈200 ms 前视;low-latency 为 4×20 ms≈80 ms。三套 encoder/decoder/observation config 不能混用。论文 §3.5 另报 Orin+TensorRT 的 policy forward 1–2 ms、policy loop 50 Hz、command writer 500 Hz、planner 10 Hz;均不是感知到电机的总延迟。目标:K04.04、K04.04.01、K04.05、K01.06、K03.04/05、K09.01/02、K06.07。
c2-control-and-contact
工具和专门技能的边界
MuJoCo Playground v1 §II/IV、§VI、附录 B/C;历史首发 2025-02-12,窗口外背景。速度条件 RL 的真机覆盖 Go1(草地/混凝土)及 Berkeley/G1/T1(室内地面);这些设置不能互相替代。LEAP 手旋转 7 cm 方块,单相机位姿、20 Hz 策略;10 次运行连续成功旋转次数的中位数 3.5、均值 7.1,存在夹缝卡块和手指互锁。它证明了特定技能迁移,也展示失败,不能写成无限连续操作。
Playground v0.2.0(2026-03-16)已转向默认 Warp 并补视觉 PPO 配置;截至本次 feed 未见窗口内新 release。因此论文中早期 MJX/JAX 静态接触开销限制不能不加版本地套用到所有当前后端。Unitree RL Lab 固定 README给出 Isaac Lab 任务、sim2sim/部署步骤,只证实获取时文档入口;未验证固件、关节序和特定训练配置。未另做 RSL-RL 的算法比较。
HIL-SERL v3 §3、§4.1/4.3、§6及任务附录;历史:首发 2024-10-29,v3 2025-03-20,窗口外背景。示范 replay、奖励分类器、人工接管与真机 RL 支持插接、装配、动态/柔性操作的受控任务;任务使用不同观测、Cartesian twist/力控制和单/双臂设置。重置为脚本或人工,通常 20–30 条初始示范但任务附录各有不同条件。§6 明确未做广泛随机化/非结构环境泛化,长时域样本复杂度仍未解决。不能据“近乎完美”总结任意任务;LeRobot 的同名实现也不是原论文复现证明。目标:K04.04.01、K04.05、K03.01.01。
4 部署、运行时与评测
d1-versions
开放版本不自动组成部署方案
LeRobot v0.6.1:发布 2026-08-03 14:19:42 UTC,Atom updated 同日 14:24:49;Breaking changes 将 lerobot.types 改为 lerobot.lerobot_types,包含策略组件/processor 重构、GR00T checkpoint 文档与子任务标注变化。它是接口迁移证据,不能当成所有集成策略的成功验证。
GR00T 状态冲突尚未消解:代码 README 固定 commit(commit 作者时间 2026-10-07)称 N1.7 为 GA;n1.7-release 仍称 Early Access(发布 2026-04-18 14:45:14 UTC;Atom updated 04-21);N1.7-3B 固定模型卡 Model Version 仍为 EA。HF API给出仓库创建 02-25、快照修改 04-23,这些不是模型卡的正式 release 日期(该字段仅给链接)。未确认 GA 代码与该权重一一对应的兼容清单,保留双方,不擅自升级/降级整个型号。
模型卡 System Requirements and Performance 的 4 denoising steps、1 camera 条件下,H100 Eager 85.8 ms、TensorRT full pipeline 27.9 ms,表内包含 preprocessing/backbone/action head;不是含相机曝光、网络、排队和电机响应的端到端延迟。Orin 仅 DiT TensorRT 与其他 full pipeline 配置不同。权重文件清单、卡片和配置可读,本轮没有下载权重或跑推理;支持硬件表不是独立性能验证。目标:K03.04/05、K06.07、K09.02、MODEL-GROOT。
d2-runtime
参数、运行测量和回退条件
ros2_control 固定 Controller Manager 文档源(commit 作者时间 2026-10-09 23:59:19 +01:00;文件首发/修改未知)与 Rolling 渲染文档的 Parameters、Determinism、update loop/overruns:manager 管理 lifecycle 与硬件接口,配置 update_rate 是目标循环频率;调度、控制器执行和 read/write 影响实测周期。return_type::ERROR 可触发 fallback,但须有可用 state/command interfaces。不能把配置了回退列表写成实际故障恢复已经验证。
本轮重试 ROS 2 固定 QoS 文档路径返回 404,未取得该页正文,不新增 DDS/Zenoh 性能判断。ROS 2 渲染站的 T01 限制未解除;ros2_control 文档不替代全部 ROS 发行版行为。目标:K06.02、K06.07、K09.02。
d3-evaluation
外部渠道仍须检查协议与关系
SIMPLER v1 §III-B、§IV–VII、附录 B;历史首发 2024-05-09,窗口外背景。配对仿真/真机评测 RT-1/RT-1-X、Octo 等策略,报告排序/表现相关性;视觉匹配和 variant aggregation 各有协议。边界是刚体、固定相机、手工场景构建;不同任务/机器人应重新检验相关性。作者包括 Google DeepMind 研究者,不是完全无关联的模型审计。
RoboChallenge v1 §2.3/2.4、§3.2;历史首发 2025-10-20,窗口外背景。Dexmal/Hugging Face 团队提供模型团队之外的真机渠道,Table30 每任务 10 次;进展分含步骤权重与重试扣分,完整成功另计,不能与 WALL 的进展分直接比较。§2.4 承认用户侧推理无法核验实际模型身份甚至人工介入,固定测试分布也有过拟合风险。服务商有利益关系;本轮未重试 T01 TLS 受限的官网,当前榜单、轨迹和服务可用性仍未验证。目标:K09.01、K09.02、K09.03.01。
基线结论与集中缺口
四条主线均有可读原始依据:后训练支持受条件限制的能力/效率改进;世界模型与合成数据的收益必须按真实动作证据判断;运动跟踪已连接少量自主移动操作;运行时工具已有明确接口,但整套版本与闭环性能不能从模型卡推断。以上均为作者结果或官方产物,本项目未做算法/真机复现,未获得行业级长期运行或统一成本比较。
供 T03 选择的少量增量问题(仍待开始):
- 后训练是否同时报告完整成功、总人工时间与失败重置?优先查同协议复测,不再混用 USER 的 HG-DAgger 与 RL。
- WALL-WM 的完整真机成功/评分一致性、开放权重配套是否补齐?新发现的 DreamTrue 可作为动作因果性候选,需先读全文。
- GR00T GA 代码—权重—控制器是否出现成套 release;SONIC/Cosmos 是否增加闭环延迟分位数、丢帧/恢复与长时证据?
原 T01 风险全部有明确处理:RLinf 分离吞吐与成功;WALL 分离进展与二值成功;SONIC 分离前视与延迟;RoboCasa 固定 horizon 变化时点;GR00T 保留可定位的 GA/EA 冲突。未解决的开放/独立性问题限制结论强度,不以猜测填补。T02 检查范围见 检查记录。
