背景

当你想在自有数据上微调开源大模型时，参数高效微调（PEFT）几乎是绕不开的技术。它能显著降低内存需求，甚至支持量化模型的微调。然而，尽管PEFT家族包含十多种方法，绝大多数人只选择LoRA（Low-Rank Adaptation）。据Hugging Face统计，在提及单一PEFT技术的20,834张模型卡中，20,509张提及LoRA（占比98.4%）；在外部图像生成站点中，10,000个检查点里有7,111个是LoRA。

LoRA真的始终是最优解吗？近日，Hugging Face团队在博客中进行了系统对比，并给出了超越LoRA的实用建议。

核心内容分析

LoRA的优势与局限

LoRA通过在基础模型上添加少量可训练参数并冻结原权重，实现高效微调。其优势在于：通用性强、实现简单、训练稳定。但团队指出，LoRA并非万能：对于某些任务（如数学推理、长序列建模），其他PEFT方法可能表现更好。此外，LoRA的秩（rank）选择需要手动调优，且存在与全量微调的性能差距。

其他PEFT方法表现如何？

文章介绍了多个候选方法：

• IA3：通过学习向量调整激活值，参数量更少，在部分分类任务中与LoRA持平或更优。
• AdaLoRA：动态调整秩，在预算固定时自动分配参数到重要层。
• Prompt Tuning、Prefix Tuning：适用于连续提示的场景，但在生成任务上可能弱于LoRA。
• DoRA、rsLoRA：LoRA的变体，改进训练稳定性或容量。

团队通过PEFT库在多个基准（GLUE、代码生成、多模态）上进行了实验，并开源了完整的对比结果。关键发现：没有一种方法在所有场景下绝对领先；LoRA在通用性和易用性上占优，但特定任务选择专门方法可获得2%-5%的提升。

如何选择PEFT方法？

Hugging Face提供了一套决策框架：

1. 任务类型：分类任务可尝试IA3，生成任务优先LoRA。
2. 模型规模：大模型（超过70B）更适合AdaLoRA以节省参数。
3. 量化支持：若使用4-bit量化，LoRA的兼容性最好。
4. 速度要求：Prompt Tuning在推理时几乎无额外开销。

此外，PEFT库已集成多种方法，并支持组合使用（如多个LoRA适配器并联）。

行业影响/专业点评

这篇博客打破了“PEFT即LoRA”的刻板印象，为从业者提供了更丰富的技术路线。Hugging Face通过统一API降低探索成本，鼓励社区跳出舒适区。未来，随着模型规模持续增长，PEFT方法的选择将直接影响部署成本与性能，自动化搜索最佳PEFT配置可能成为新的研究方向。

---

来源