背景

自2017年Transformer架构诞生以来，自回归（Autoregressive, AR）语言模型几乎统治了自然语言处理领域。从GPT系列到LLaMA，这些模型逐token生成文本——每个新token都依赖于之前所有的token，必须完成一次完整的前向传播。这种范式稳定、简单，却也带来了硬性的性能天花板：每次生成都要从内存加载全部权重，GPU大部分时间花在内存操作而非计算上。对于延迟敏感的应用、小批量推理场景或希望充分利用现代GPU算力的开发者而言，逐token生成意味着大量算力被浪费。

更关键的是，自回归模型一旦生成token便无法回头，错误会随着生成过程不断累积。当模型在长文本生成中出错时，没有任何机制可以修正。

核心内容：扩散语言模型的突破

NVIDIA在2026年5月发布的Nemotron-Labs Diffusion模型系列彻底改变了这一局面。这些扩散语言模型（Diffusion Language Models, DLM）不再逐token生成，而是并行生成多个token，然后通过多个步骤迭代精炼。这种“生成-精炼”机制带来了两大核心优势：

1. 性能飞跃：并行生成能更好地利用现代GPU的并行计算能力，显著降低内存访问瓶颈，实现数倍的速度提升。同时，用户可以通过减少精炼步数来灵活控制推理预算，在质量与速度之间按需调节。

2. 错误修正能力：扩散模型天然支持对已生成token进行修订，避免错误传播。这使得它特别适合文本修订、填充式生成（Fill-in-the-Middle）等需要回顾和修改的场景。

NVIDIA此次发布了完整的模型家族：文本模型包括3B、8B、14B三个规模，以及一个8B规模的视觉语言模型（VLM）。所有模型均采用NVIDIA Nemotron开放模型许可证（商业友好），VLM使用NVIDIA源代码许可证。同时，NVIDIA公开了基于Megatron Bridge框架的训练代码，方便社区复现和定制。

行业影响与专业点评

Nemotron-Labs Diffusion的出现标志着语言模型生成范式的一个重要转折点。自回归模型虽然表现优异，但其本质上的串行限制已成为推理效率提升的最大障碍。扩散模型在图像生成领域（如Stable Diffusion）已经证明其有效性，现在将其引入语言模型，有望在高吞吐量、低延迟场景中取代自回归模型。

特别值得关注的是，NVIDIA将最先进的硬件与模型设计紧密结合——DLM的并行特性恰好能充分发挥H100/B200等GPU的矩阵运算能力。对于云服务商和企业用户而言，这意味着在相同预算下可以获得更高吞吐量的服务。此外，错误修正能力对于长文档生成、代码补全等任务至关重要，有望显著提升AI系统的可靠性。

尽管扩散语言模型仍处于早期阶段（如训练稳定性、收敛速度等问题有待进一步验证），但NVIDIA这次的开源发布将极大加速社区在该方向上的探索。我们很可能在未来一年内看到更多基于扩散架构的LLM涌现。

---

来源