背景

当你需要针对自己的数据微调一个开源模型时，几乎肯定会选择所谓的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）。这项技术能显著减少微调所需的内存，让你在消费级GPU上也能调整大模型。尽管存在数十种PEFT技术，但几乎所有人都选择了一种叫做“LoRA”（Low-Rank Adaptation）的方法。根据Hugging Face的统计，在Hugging Face Hub上提及单一PEFT技术的20,834个模型卡中，有20,509个提到了LoRA，占比高达98.4%。在图像生成领域，外部网站上一万个检查点中，有7,111个是LoRA。

LoRA的成功并非偶然：它通过在冻结的基础模型上添加少量可训练参数，实现了与全参数微调接近的效果，同时将内存需求降低了一个数量级。但问题是：LoRA真的是最佳选择吗？是否有其他技术能在更低的成本下带来更好的性能？Hugging Face团队的这篇博客文章正是为了回答这个问题而写。

核心内容：PEFT技术的全景图

PEFT的核心思想是只更新模型参数的一小部分，从而节省显存和计算资源。除了LoRA，还有多种被广泛研究的方法：

• Adapters：在Transformer层之间插入小型的瓶颈层进行训练。
• Prefix Tuning：在输入序列前添加可学习的虚拟token。
• Prompt Tuning：类似于Prefix Tuning，但只调整输入层的soft prompt。
• (IA)³：对激活值进行缩放，极其参数高效。
• BOFT：基于正交微调的方法。

Hugging Face的PEFT库实现了所有这些技术，并提供了统一的API。这使得从业者可以轻松在多种方法之间切换，而不必改动训练脚本。但大多数用户选择了LoRA，因为它的知名度最高，而且通常效果不错。

然而，作者指出：LoRA并非在所有情况下都是最优的。例如，在需要模型学习全新任务（而不是适配已有能力）时，Adapters可能表现更好；在超低资源场景下，(IA)³可能更节省；而在需要模型保持强大泛化能力时，不完全微调基础模型可能会限制上限。

对比实验：为什么你应该考虑LoRA之外的选项

博客文章虽然没有展示具体实验结果，但强调了几个关键发现：

1. 任务类型决定最优方法：对于分类任务，LoRA和Adapters性能相近，但在生成任务中，Adapters有时能带来更稳定的困惑度改善。
2. 模型大小影响选择：对于7B以下的中等模型，LoRA的秩选择很关键；而对于70B以上模型，不同方法之间的差距缩小。
3. 量化兼容性：LoRA可以与量化（如QLoRA）无缝结合，但其他方法也有对应的量化方案，且在某些量化级别下性能更优。

更重要的是，作者提醒：过度依赖LoRA可能导致社区忽略其他创新的PEFT技术。例如，最近出现的VeRA（Vector-based Random Adaptation）和DoRA（Weight-Decomposed Low-Rank Adaptation）都在努力突破LoRA的局限。

行业影响与专业点评

LoRA的统治地位既是好事也是坏事。好事是它降低了微调的门槛，让更多人能参与模型定制；坏事是它可能掩盖了更适合特定任务的其他方法。Hugging Face的这篇博客并非要否定LoRA，而是鼓励大家“拓展视野”——尝试多种PEFT方法并选择最适合自己场景的那个。

对于AI从业者，这意味着：不要默认使用LoRA。如果你的任务对推理速度敏感，可以考虑(IA)³；如果希望保留更多基础模型的知识，Adapters可能更有优势；如果需要在多个任务间共享基础模型，Prompt Tuning的轻量级特性更合适。PEFT库的存在让这些尝试几乎零成本。

未来，随着模型尺寸继续增长，PEFT的重要性只会增加。无论是LoRA还是其竞争者，核心目标都是让微调更高效、更便宜、更灵活。而打破“唯一答案”的思维定式，可能是我们在这个领域取得新突破的第一步。

---

来源