NVIDIA 开源了一个每秒 670 token 的 30B 模型，然后说它不是给你直接上生产的
Nemotron 3.5 Lightning 用 Mamba-2 混 MoE 换速度，智能指数只有 24；同期还放了五个 550B 的「教师模型」，那批东西的用途更值得琢磨
文章目录
共 5 节8 月 11 日 NVIDIA 发布 Nemotron 3.5 Lightning。规格表上最扎眼的不是参数量，是速度：约 670 tokens/s，差不多是 Gemini 3.5 Flash-Lite（386 t/s）的两倍。
然后在官方模型卡上，他们写了一句不太像发布材料该写的话：这个模型的定位是「供定制与后训练」，而不是直接拿去生产部署。
一家公司把模型开源出来，同时告诉你别直接用——这件事得展开说。
一、它是个什么东西
- →30B 总参 / 3B 激活（这是 HF 模型卡的口径；有第三方报道写 31.6B / 3.6B，两个数我没能在同一份官方文档里统一）
- →架构是 MoE Hybrid：Mamba-2 加 MoE 加少量 Attention 层
- →新增了 MTP 多 token 预测层
- →上下文最高 1M tokens，但单张 H100 因为显存限制实际只能到 256K
- →许可证 OpenMDW-1.1，允许商用
- →训练数据超过 20T tokens，覆盖法律、数学、科学、金融；后训练以英语为主，兼顾西班牙语、法语、德语、意大利语、日语
- →纯文本，没有多模态
Mamba-2 混 MoE 这个组合是速度的来源。传统 Transformer 的注意力开销随序列长度平方增长，Mamba 这类状态空间模型是线性的。把大部分层换成 Mamba-2、只留少量 Attention 层，长序列上的吞吐优势就出来了。
二、分数：它是拿智能换速度
官方模型卡给的：
| 评测 | 分数 |
|---|---|
| MMLU Pro | 81.94 |
| SWE-bench Verified | 51.56 |
| GPQA Diamond | 75.44 |
| HLE（纯文本） | 11.72 |
表格可左右滑动
第三方（Artificial Analysis）的综合评价更说明问题：智能指数 24，前代是 15，涨了 9 分。和 gpt-oss-120b 持平，但参数量只有它的约四分之一。
但它落后于 Qwen3.6 35B 的 32 分，也落后于 Meta Muse Glimmer 的 35 分。
GDPval-AA v2 的 Elo 是 824，对照 gpt-oss-120b 的 800、更大的 Nemotron 3 Super 的 698。
把这些数摆在一起看，Nemotron 3.5 Lightning 的画像很清楚：在同参数量级里效率很高，但绝对能力不在第一梯队。它换来的是 670 tokens/s。
这个取舍适合什么：agent 流水线。一个 agent 循环里有大量「简单但必须做」的步骤——判断该调哪个工具、把结果格式化、决定要不要继续。这些步骤对智能要求不高，但每一步的延迟会累加。二十步的循环里，每步快 1 秒就是快 20 秒。
不适合什么：需要一次想清楚的复杂推理。HLE 只有 11.72，这类任务它就不是干这个的。
三、价格：有一个完全免费的档
OpenRouter 上的价格是每百万 token 输入 $0.08、输出 $0.20、缓存读 $0.04。另外还有一个 :free 档，完全免费。
两个档的规格不一样，这点容易被忽略：
- →付费档：上下文 262,144，最大输出 131,072
- →免费档：上下文 1,000,000，最大输出 65,536
免费档的上下文反而更长、输出更短。做长文档处理的原型验证，免费档是很实在的资源。
当然权重是开放的，OpenMDW-1.1 允许商用，自己部署也行。30B / 3B 激活这个规模，部署门槛比前面几篇讲的那些 700B 级别的模型低得多——这是它对中小团队真正的价值所在。
四、那五个 550B 的「教师模型」更值得琢磨
8 月 14 日 NVIDIA 放了另一批东西，比 Lightning 安静得多，但我认为更有信息量：
NVIDIA-Nemotron-Labs-Teacher 系列，五个：STEM、General-Reasoning、Instruction-Following、Competition-Coding、Chat。
- →每个都是 550B 总参 / 55B 激活
- →hybrid LatentMoE 架构（Mamba-2 + MoE + Attention）
- →由 Nemotron 3 Ultra 经领域定向 SFT 加 RL 得到
- →OpenMDW 1.1，1M 上下文
- →用途写得明明白白：蒸馏用的领域教师模型
模型卡里还提了一句：这只是「十余个领域专用 teacher 模型」之一，但没有列全名单。
把这批东西和 Lightning 那句「供定制与后训练」放在一起，NVIDIA 的意图就清楚了。
他们卖的不是模型，是一整条「你自己造模型」的流水线：拿 550B 的领域教师去蒸馏，得到一个 30B 的学生模型，然后在自己的数据上继续后训练，最后跑在自己买的卡上。模型是免费的，卡不是。
这个策略和 Meta 当年开源 Llama 的逻辑不一样。Llama 的目标是生态占位，NVIDIA 的目标更直接——每一个自己训模型的团队，都是一个买卡的团队。
五、对中国团队的实际意义
先说不好的：这批东西的直接可用性一般。Lightning 的绝对能力不如同期的国产开源模型（Qwen3.8-27B 的 SWE-bench Pro 是 61.7，GLM-5.3-Flash 的 Deep-SWE 是 63.4，Lightning 的 SWE-bench Verified 是 51.56，虽然评测不完全可比，但量级差距在那儿）。纯文本、英语为主，中文场景更是不占优。
再说有用的：
一、那五个 teacher 模型是免费的领域数据生成器。你要做一个垂直领域的小模型，最大的成本从来不是训练，是构造高质量的训练数据。550B 的 Competition-Coding teacher 跑出来的代码推理数据，质量是有保证的，而且 OpenMDW 1.1 允许商用。这条路对有自己数据但缺高质量标注的团队很实际。
二、Mamba-2 混合架构这条技术路线值得跟。670 tokens/s 对 386 tokens/s 不是调参调出来的，是架构带来的。国内同期的模型基本还在纯 Transformer 加各种稀疏注意力的路上（通义的 Gated DeltaNet、智谱的线性加稀疏混合算是往这个方向走），NVIDIA 把 Mamba-2 直接做进主干是更激进的一步。这条路如果跑通，长上下文的成本结构会整个变一遍。
三、:free 档可以拿来做原型。1M 上下文，不要钱，验证「我这个长文档场景到底可不可行」足够了。
最后提醒一个容易搞混的地方：HuggingFace 上 nvidia 组织下有大量第三方模型的 NVFP4 量化版本——DeepSeek-V4.1-Flash、GLM-5.3、Qwen3.8、Kimi-K3 都在里面。那些不是 NVIDIA 自研的模型，是它把别人的模型量化了一遍放上去。看到 nvidia/DeepSeek-… 这种仓库名别误会，它的价值是量化，不是模型本身。