世界模型这个秋天交出的两件实物：一个能实时玩，一个能塞进 Jetson

「世界模型」这个词今年被用得很滥，滥到 TechCrunch 在 9 月 20 日专门写了一篇讲这批公司有多能藏——融了很多钱，商业计划一个字不说。

所以这篇只讲两件已经能看见、能核对参数的东西。它们代表这条路线的两个极端：一个往「大到能玩」走，一个往「小到能装」走。

一、先说清楚世界模型跟视频模型差在哪

视频生成模型的任务是：给一段描述，产出一段片子。片子一旦生成完，它就是死的。

世界模型的任务是：学会一个环境是怎么随时间变化的——物体、运动、空间关系，以及「做了某个动作之后会发生什么」。

英伟达在 Cosmos 3 Edge 的说明里举了个很朴素的例子：机器人要去拿一个东西，认出这个东西只是第一步，它还得知道东西在哪、夹爪怎么动、接触上之后会怎样。世界模型要能预测一个动作的视觉后果、能从一个变化反推出是什么动作造成的、还能为了达到某个目标生成一个动作。三个方向都要通。

这三条能力决定了它的用途和视频模型完全不重叠：机器人策略的训练与评估、合成数据、实时可交互内容。

二、Runway GWM Worlds 2：无限时长的实时交互

2026 年 9 月 3 日，Runway 在自家 research 频道放出 GWM Worlds 2，标注是 Research Preview。去年 12 月他们发过第一代 GWM Worlds。

硬指标：连续 720p 视频、24 fps，音频 48,000 Hz，实时响应你的输入。而且不限时长——它不是在播一段预先生成的片子，是从每一次新输入继续往下长，所以「一局」没有预设长度。

真正值得抄的是它的输入格式，叫 WorldPrompt。设计思路是把一个世界劈成「不变的」和「随时间变的」两层：

• →持久世界上下文：一段 genesis prompt，包含场景描述（环境、布局、材质、光照、环境音）、可以参与事件的主体及其属性、以及法则（laws）——重力、碰撞、角色能力、镜头视角这类可复用的约定。再加一张首帧图来做视觉锚定。
• →带时间戳的事件流：每个动作是一段自由文本，带起止时间，指名道姓发给某个主体或者发给场景本身。多个动作可以重叠。说话也是一种动作，台词就写在动作里。另外还有一路逐帧的相机输入（视点的平移和旋转）。

官方给的样例里，「法则」那一栏写的是这种东西：重力和地球一样，所以落叶平贴在湿路面上。镜头以第三人称跟随穿绿色风衣的女人。

一次文本动作可以是一记挥剑、一句回话、一个房间开始进水、一场沙尘暴卷过来——任何你能用话描述的事。

技术路线也写得很清楚，分两步：先拿他们的音视频基础生成模型在 WorldPrompt 格式上做微调，得到一个能正确遵循这套结构的双向模型；但这个模型太慢，而且因为是双向的所以没法自回归生成，于是再把它后训练成一个实时自回归模型，也就是 GWM Worlds 2。实时版不受固定时长限制，可以无限生成下去。

官方点名的落地方向是：交互式娱乐、虚拟角色、机器人与具身智能体仿真、生成式设计与界面。

要泼的冷水：这是 research preview，不是一个你今天能接的 API。Runway 另外还在 8 月 31 日发过一个叫 Solaris 的东西，被多家媒体描述成「实时生成软件界面」的方向，但那个页面目前打不开，我没法核对细节，所以这里不展开。

三、NVIDIA Cosmos 3 Edge：40 亿参数，跑在机器上

另一个极端。2026 年 7 月 20 日上 Hugging Face，40 亿参数，开放权重，Linux Foundation OpenMDW-1.1 许可。

它是 Cosmos 3 家族里最小的一档。Nano（160 亿）和 Super（640 亿）是 5 月 31 日在 GTC 台北发的，Edge 大约是 Super 的十六分之一。

架构值得说一下，因为它解释了这类模型为什么要长成这样。Cosmos 3 用的是 Mixture-of-Transformers，两座塔：

• →自回归塔处理视觉和文本 token，负责理解与推理。语言用因果注意力。
• →扩散塔处理视觉、音频、动作 token，负责预测、生成和神经仿真。扩散 token 的注意力铺得更广。
• →两座塔各有自己的归一化层和 MLP，但共享多模态注意力层——这是让模型「先看懂场景再产出动作」的关键。

Edge 的推理器是一个 20 亿参数的稠密 transformer，图像和视频输入遵循 Qwen3-VL 兼容的消息约定。

最实用的一件事是统一动作表示。不同的机体描述动作的方式完全不一样——车用自车位姿、相机用镜头运动、机械臂用末端执行器位姿加夹爪状态。Cosmos 3 把它们映射到同一套紧凑的几何向量（平移、旋转、操作状态）。GitHub 仓库里列的维度是：相机运动 9 维、自动驾驶 9 维、第一人称运动 57 维、单臂机器人 10 维、双臂 20 维、人形 29 维。

部署数据（这是这个模型最值钱的部分）：

• →作为后训练过的世界动作模型（WAM），工作在 640×360 的机器人控制分辨率。
• →在 NVIDIA Jetson Thor 上，一次推理生成 32 个动作，实时控制频率 15 Hz。
• →纯生成用途支持 256p 和 480p，12–30 fps，50–150 帧。
• →英伟达把 GeForce RTX 3070 或更好定位成本地原型的入门门槛；用开放的 Cosmos 框架针对某个具体机体和传感器组合做后训练，大约一天。
• →同时还放了 Cosmos 3 Edge Policy (DROID)，一个在 DROID 数据集上后训练的抓放策略，附后训练脚本，可以在一个小规模 H100 集群或 DGX Station 上微调。

需要打折扣的地方：「4B 规模下 VANTAGE-Bench 第一」是英伟达自己声称的内部结果。

四、这两件事对中国团队意味着什么

分开看。

GWM Worlds 2 这条线，现在不是拿来做产品的，是拿来改需求的。它把「可交互内容」的成本结构掀了一下——如果一个世界可以用一段 genesis prompt 加一串带时间戳的文本动作来定义，那么做互动短剧、做虚拟角色、做营销里的可玩 demo，原来那套「先建模、再做动画、再写逻辑」的流程就有另一个答案了。但今天还接不了 API，所以合理的动作是：把你的内容资产按 WorldPrompt 那两层结构整理一遍（哪些是持久设定、哪些是时序事件），等接口开放的时候你比别人快一个月。

Cosmos 3 Edge 这条线，今天就能动手。权重是开放的，许可是宽松的，一张 RTX 3070 起步能做原型，一天能针对自己的机体做一轮后训练。对做工业检测、仓储机器人、巡检设备的团队，这是一个不需要谈商务就能先跑起来的东西。

两个坑提前说：

• →别拿世界模型当游戏引擎卖。它不保证物理一致，不保证同一个状态重复进入会得到同样的结果。你能拿它做的是「看起来对」的交互，不是「可复现」的仿真。真要做可复现的评估，用它生成数据，用传统仿真器做校验。
• →Jetson 上的 15 Hz 是控制频率，不是端到端延迟。做机器人的都知道这两个数的区别，但做应用的容易看混。要落到具体任务上，自己测闭环。