背景

目前的主流大语言模型（LLM）大多采用自回归（Autoregressive, AR）架构，即逐个生成token，每个token依赖于前面所有token。这种模式虽然稳定且易于训练和服务，但存在两大痛点：一是生成速度受限于串行计算，GPU大部分时间花在内存操作上而非计算；二是生成过程中无法回头修正错误，错误会一路传播。

为了打破这些限制，NVIDIA发布了Nemotron-Labs Diffusion系列模型，采用扩散语言模型（Diffusion Language Model, DLM）架构。这些模型可以并行生成多个token，然后通过多步迭代进行精炼，从而显著提升推理速度并提供错误修正能力。

核心内容分析

扩散语言模型的工作方式

与自回归模型逐token生成不同，扩散模型（DLM）首先并行生成一批token（可能包含噪声），然后通过多步去噪过程逐步精炼这些token。这种“生成+精炼”的模式带来了两个关键优势：

1. 并行计算：现代GPU擅长并行处理大量数据。扩散模型可以在每一步同时处理所有token，更好地利用GPU的计算能力。因此，在同等硬件条件下，DLM的推理速度远快于自回归模型。

2. 可修正性：生成过程中，模型可以基于后续步骤的信息修改之前生成的token。这意味着如果初始生成有误，后续步骤可以纠正，避免了错误级联。这一特性使其特别适合文本修正、填充（Fill-in-the-Middle）等任务。

此外，扩散模型提供了内置的推理预算控制。通过减少精炼步数，可以在生成质量和计算开销之间权衡，适应不同场景的需求。

模型家族与许可

NVIDIA发布了多个规模的Nemotron-Labs Diffusion模型，包括3B、8B和14B参数的文本模型，以及一个8B参数的视觉语言模型（VLM）。这些模型基于NVIDIA Megatron Bridge框架训练，并采用对商业友好的NVIDIA Nemotron Open Model License（部分模型采用NVIDIA Source Code License）。所有模型均提供基础版和指令微调的聊天版。

技术细节

文章未深入具体架构，但指出DLM的训练和推理有别于传统自回归模型。训练过程涉及扩散步骤的模拟，而推理则通过迭代精炼从噪声中恢复文本。NVIDIA同时发布了训练代码和配方，供研究者和开发者复现。

行业影响/专业点评

Nemotron-Labs Diffusion语言模型的发布，标志着文本生成领域的一个重要转折。自回归模型统治了多年，其瓶颈已越发明显：对于延迟敏感的应用（如实时对话、代码补全），逐token生成无法充分利用硬件潜力，而DLM的并行特性有望将生成速度提升一个量级。

更值得关注的是其“可修正”能力。在自回归范式中，一旦生成错误，通常需要重新开始或依赖后处理修复。DLM的迭代精炼机制允许模型主动纠正，这对长文本生成、表格生成等要求高准确率的任务意义重大。

此外，推理预算的可控性带来了实际部署的灵活性。用户可以根据硬件和延迟要求动态调整精炼步数，实现性能和成本的平衡。这种灵活性使得DLM在边缘设备、云服务等不同场景中都有应用前景。

当然，扩散语言模型并非没有挑战。其训练相比自回归可能更不稳定，且需要更多步数的计算。但随着NVIDIA开源模型和代码，社区可以加速探索其潜力。长远看，DLM可能与自回归模型互补：自回归适合短上下文、强依赖的任务，扩散模型则适合长文本、需要迭代修正的场景。

---

来源