
视频公司开源机器人模型:46.2% 是第一,总榜却只排第五
11 月 11 日,Runway 把 Praxis-1 的权重放了出来。Apache 2.0 许可,明确允许商业用途。
奇怪的地方在于,Runway 的主业是生成视频。现在它把一整套机器人控制模型开源了,还带着推理和微调代码。
该紧张的其实不是视频同行。是那些做了两三年 VLA、还在等下一轮融资的机器人团队:你花钱买遥操作数据,人家拿网页视频就把底座练出来了。
先说句不好听的:开源机器人大模型的,是家做视频的公司
这个模型 9 月就首次发布过,当时只有发布伙伴能在自己的机器人上跑。两个月后权重直接放开,GitHub 和 Hugging Face 同时给,推理、微调代码都在,全量微调和 LoRA 都支持。
这不是发个炫技视频就完事。它把”能不能用”这道门槛直接砍了。
为什么是视频公司先做成?因为它本来就在干一件事:预测下一帧会发生什么。机器人动作只是把这件事往前推一步,从”猜画面”变成”猜画面加猜关节”。
所以真正的信号不是它开源了,是它证明这条路走得通。

它给的到底是什么:27.2B 参数,一张 80GB 卡装得下
参数是 27.2B,拆开看是 26.9B 的视频主干加一个 16 层的 action expert。MoE 扩散 Transformer,每个 token 大约激活 2.8B。
bf16 权重包 54.4 GB。单张 80GB 的 GPU 就能装下,不用凑八卡。
控制频率 15 Hz,每次调用预测 24 步动作,覆盖 1.6 秒。
这三条里最该注意的是最后一条。15 Hz 意味着每 66 毫秒决策一次,但它一次想的是一秒半的动作序列。
它不是在”看图选动作”,是在”先想象接下来 1.6 秒会怎样,然后照着想象动”。
这也是它敢叫世界动作模型的原因:它同时预测未来视频和机器人动作。只输出动作的叫 VLA,连未来画面一起预测的才是 world action model。
三个 checkpoint 别拿错:base 那个不能开机器人
官方放了三个 checkpoint,用途完全不同。拿错不是效果差,是根本动不了。
- base:没有 embodiment 专用 head,只能当微调起点,不能直接驱动机器人
- DROID:目标形态是单只 Franka 机械臂,配一个外部相机加一个腕部相机
- YAM:目标形态是双臂机构,两条手臂加三个相机
GitHub 仓库里还提到 NVFP4 量化版本,routed experts 在 SM120 GPU 上跑 4bit;另有一个面向 SO-101 机械臂的 checkpoint 还在路上。
很多人第一步就错在这:下载 base,接上自己的机械臂,发现输出对不上维度,然后判断”模型不行”。

数字要看清楚:46.2% 是第一,也是第五
这一节请慢慢看,全文最容易被带偏的地方就在这。
先说成绩。NVIDIA RoboLab-120 模拟基准上,1200 个回合成功 555 个,成功率 46.2%。对比数字是 FLUX 3 Action 的 42.9%、Cosmos3 Nano 的 36.8%、π0.5 的 28.0%。
但这组数字是 Runway 自报的,方式是拿自己的成绩对着别家公开的数字比。不是第三方复现,也没有统一重跑。这是第一件要说清的事。
第二件是排位。同一张榜单的总榜上,Praxis-1 排第五。榜首 86.0% 是一个 agentic 语言模型策略,还有一个 VLA 模型做到 49.2%。
所以”世界动作模型里第一”是真的,”总榜第一”不是。榜首那个条目类型不同、评测设置不同,放一起比本身就不严谨,这一点是独立报道这事的媒体补上的角度。
为什么会差这么多?因为几种系统在解决不同的问题。agentic 语言模型策略是把任务拆成子目标再调底层技能;VLA 是直接从视觉和语言映射到动作;世界动作模型是先在内部模拟未来,再决定怎么动。同一张榜未必对后者友好。
榜单方另外标注了部分条目训练时用过模拟数据,Praxis-1 没有被标注。榜单提交目前处于暂停状态,意味着这些排名短期不会再被刷新校正。
第三件最容易忽略:RoboLab-120 是模拟基准。模拟里成功 555 次,不等于真机部署成功 555 次。摩擦、延迟、相机标定、夹爪公差,模拟里都没有。
Runway 自己的迁移数据也说明这点。在 Google RT-1 机器人上轻度微调(该机型不在预训练数据里),SimplerEnv 成功率 80.0%,原始 RT-1 策略 52.4%。这组同样是 Runway 口径。
更保守的是 DROID checkpoint 的官方卡:在 Runway 自己的评测集上,full prompt adherence 52.5%,95% 置信区间 35.8 到 68.3。
区间这么宽,说明样本量不大。这种数字要看区间,不能只看点估计,更别把 52.5% 当成”一半情况能听懂指令”来讲。
真正该抄的是配方:58% 的训练数据来自人类第一视角视频
比榜单更值得关注的是训练混合:58% 第一人称人类视频,20% 通用视频,18% 真实机器人视频。DROID 微调用了约 277 小时的成功 DROID 片段。
Runway 的说法是,网页视频在策略性能上能与遥操作机器人视频匹敌,作为预训练数据。
如果这句话成立,整个行业的成本结构要重算。遥操作数据又贵又慢,一小时几百条轨迹顶天了;人类第一视角视频便宜、量大、还在天天新增。
发布伙伴的反馈算佐证。Noble Machines 的足式人形、Standard Bots 的六轴工业臂、Ultra 的双臂仓储机器人,都在真机上跑过。
Runway 机器人负责人 Andy Chen 说,跟 Noble Machines 合作时,模型从半小时示范里学会了拣木板,15 次全对;换成一堆没见过的乱木板,十次里成功六次。
注意这个衰减:结构化场景全对,非结构化场景六成。这就是当前能力的真实位置,也是你排期时该按的下限。
现在能不能用:给你一组 if/then 判断
直接给判断,别绕。
如果你手上是单只 Franka,加一个外部相机和一个腕部相机,DROID checkpoint 是最省事的起点。微调代码和 LoRA 都在仓库里,先把闭环跑通,再谈效果好坏。
如果你用的是双臂机构,走 YAM,别硬改 DROID。相机数量和拓扑对不上,调试成本比重练一遍还高。
如果你只有工作站卡,RTX 5090 和 RTX PRO 6000 都在支持范围内。NVFP4 量化版本就是为这条路径准备的,routed experts 用 4bit 跑在 SM120 上。
如果你要直接把模型放到机器人身上,Jetson Thor 这一档也在名单里;往上是 H100、B200 的数据中心卡,往下就是这台小机器。
如果你只想要一个能跑通的最小闭环,那就别碰 base。拿 DROID 或 YAM 当参照,比从零对齐 shape 快得多。
生态这块给得算厚。Hugging Face 上的版本原生支持 LeRobot;推理可以走 vLLM-Omni,也可以直接用 Runway 自己的 Reactor 托管服务。具体安装和启动命令以官方仓库 README 为准,别照抄二手教程。
有个坑必须提前说。冻结的 Wan2.2 VAE 和 Qwen3.5-2B 文本编码器是单独分发的,各自带自己的许可。
Apache 2.0 覆盖的是 Praxis-1 本体,不等于整条依赖链都能随便商用。上线前把这几份许可逐个过一遍,别等法务来找。
如果你的场景是高精度工业装配,现在别指望一个 15 Hz 的通用策略替代专机。它的强项是泛化和快速上手,不是毫米级重复精度。
想先把世界模型这条线搞明白,可以回看 PixVerse R2 和 智象 HiDream-O1-World,一条讲实时生成,一条讲可交互。
真正的信号不是 46.2%。是一个做视频的公司证明了:机器人最缺的那块拼图,可能一直躺在已经拍好的视频里。
关注圈圈,持续带你玩转 AI 工具。















暂无评论内容