Table of Contents
背景
自 GPT 系列以来，自回归（Autoregressive, AR）语言模型成为业界主流。它们按顺序逐个生成 token，每个新 token 依赖之前所有 token，虽然训练稳定、部署简单，但存在两个根本性缺陷：
- 延迟瓶颈：每个 token 都需要一次完整的前向传播，GPU 大部分时间耗费在从内存加载权重上，而非计算。
- 无法修正：一旦生成错误，后续 token 将继续受其影响，错误会不断传播。
2026 年 5 月 23 日，NVIDIA 在 HuggingFace 上发布了 Nemotron-Labs Diffusion 系列模型，提出了一种全新的路径——扩散语言模型（Diffusion Language Models, DLM）。该模型通过并行生成多个 token，再在多个步骤中迭代精炼，不仅能更充分利用现代 GPU 的计算资源，还能在生成过程中修订已生成的 token，为文本生成效率和质量带来革命性提升。
核心内容分析
扩散语言模型的工作原理
传统自回归模型生成文本时，看到的只是已生成的序列，而扩散模型则先随机初始化一段 token 序列，然后通过多步去噪过程逐步将其细化为高质量文本。NVIDIA 的方法借鉴了图像扩散模型的思路，但针对文本离散空间进行了改造。
具体来说，Nemotron-Labs Diffusion 模型在每一步中同时对多个 token 进行修改，使得模型能全局考虑上下文，并在后续步骤中修正前一步的错误。这种“生成-修正”循环使得模型天然适合需要迭代优化的场景，如文本修订、填空（fill-in-the-middle）等任务。
模型系列与性能优势
NVIDIA 此次发布了 3B、8B、14B 规模的文本模型，以及 8B 规模的视觉语言模型（VLM），全部采用商业友好的 NVIDIA Nemotron Open Model License。此外还提供了指令微调的聊天版本，并开源了训练代码（基于 Megatron Bridge 框架）。
与同等参数量的自回归模型相比，Nemotron-Labs Diffusion 模型在推理速度上具有显著优势。由于并行生成多个 token，模型可以更高效地使用 GPU 的内存带宽，减少内存访问次数。此外，用户可以通过控制精炼步数来权衡推理速度与生成质量，实现灵活的推理预算。
行业影响/专业点评
Nemotron-Labs Diffusion 的发布标志着文本生成领域从自回归范式向扩散范式的关键转变。对于延时敏感的应用程序（如实时对话、代码补全），该模型可以大幅降低首 token 延迟和总生成时间。同时，其可修订特性使得在长文本生成中错误传播的风险大大降低。
不过，扩散语言模型是否能在所有任务上全面超越自回归模型仍有待验证。目前自回归模型生态成熟，训练和推理基础设施完善，转向扩散模型需要新的优化和适配。NVIDIA 此次开源模型和训练代码，将极大推动社区对 DLM 的研究和应用。
未来，随着硬件对扩散模型支持的加强，以及训练技术的更迭，我们有望看到更多基于扩散的 AI 应用涌现。NVIDIA 此举不仅在技术上迈出了重要一步，也为整个行业提供了新的思考方向。
