内容摘要
这次发布的是一份可直接加载的机器人操作策略权重:LeRobot 团队在 HuggingFace 上放出 NVIDIA Cosmos3-Edge 的 LeRobot 格式微调版本,要解决的是让机器人本体软件程序在 LIBERO-10 上跑通一条可复现的仿真操作基线。LIBERO-10 是含 10 个任务的仿真机械臂操作基准。
策略读入任务指令和第三人称、腕部两路 256×256 RGB 相机图像(无本体状态输入),同时输出一段 16 步动作块和该场景的未来视频,属于带世界模型成分的形态。动作是 10 维(位置增量 3 维、旋转 6 维、夹爪 1 维),由环境处理器转成 LIBERO 需要的 7 维。
模型卡自测闭环成功率 95.2%(476/500),同一张表里 Cosmos3-Nano 权重为 97.6%(488/500)。协议是每个任务 50 回合、初始状态与环境种子 0 到 49、每批 4 个环境、合计 500 回合,物理仿真器用 MuJoCo 2.3.7(LeRobot 锁文件默认装 3.8.1,需先降级)。
点评
对机器人本体软件程序员,这是一份可以直接 `--policy.path=lerobot/Cosmos3-Edge-Policy-LIBERO_10` 加载的策略:模型卡给出了依赖版本、评测命令和完整的评测设置表,可以在本地复现一条 LIBERO 操作基线,再决定是替换数据集还是换任务继续做适配。"动作块+未来视频"联合输出的形态也说明这类策略内部带有世界模型成分,而不是只输出动作;推理时需显式传 `--policy.dtype=bfloat16`,因为模型卡把 `config.json` 的 dtype 故意设为 float32 用于微调。
95.2% 与 97.6% 都是模型卡发布方在固定依赖版本下的自测数字,本次材料中未见独立复现;表中第三行的 97.40% 引自 arXiv 技术报告(作者论文口径),与本表自测不是同一证据来源,不能当作互证。MuJoCo 3.x 会改变接触密集 LIBERO 任务的成败,与 2.3.7 的结果不可比;预处理中的视频画布步跑在 CPU 且关闭了 cuDNN 基准测试,换回 `lerobot-eval` 默认设置会带来输入与采样上的小数值差异。训练只用 379 条演示且无验证集划分,所有结论限于 LIBERO 仿真,未涉及真机,发布的是按 LIBERO 成功率从检查点中挑出的单个权重,不能代表其他任务或真实场景表现。本次材料是该模型卡某一版本的网页快照,其更新时间只能说明该版本被改动过,不能证明各段文字在报告截止前均已存在。
版本与核查范围
版本 c835157a198bd0c33106fb56b9d6e8179a81be91 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 README:paragraph:3;README:paragraph:4;README:paragraph:6;README:paragraph:6;README:paragraph:7;README:paragraph:14;README:paragraph:10;README:paragraph:15;README:paragraph:15;README:paragraph:20;README:paragraph:20;README:paragraph:26
