Table of Contents
背景
PyTorch性能分析是深度学习工程师优化模型训练和推理的关键技能。2026年6月11日，Hugging Face团队发布了系列文章“Profiling in PyTorch”的第二部分。在前一部分中，作者通过手写矩阵乘加（matmul-add）讲解了如何阅读PyTorch profiler trace。这一次，他们将目光投向更高级别的抽象：nn.Linear模块和简单的多层感知机（MLP），并探讨如何通过内核融合来提升性能。
核心内容分析
从手写到模块：nn.Linear的性能特征
文章首先将手动编写的torch.add(torch.matmul(x, w), b)替换为nn.Linear模块。通过性能分析，他们发现nn.Linear内部执行了相同的矩阵乘法和加法，但增加了一个转置操作（w.T）。为了理解转置的代价，作者在CPU和GPU层面对其进行了详细排查，展示了转置操作如何影响调度和计算。
MLP块的分析
接下来，作者构建了一个包含三个nn.Linear和激活函数的简单MLP块。他们使用PyTorch profiler捕获了前向调用的trace，并区分了CPU调度开销和GPU内核执行时间。CPU调度开销主要来自内核启动，而GPU计算时间取决于内核本身的效率。文章对比了原始实现与经过torch.compile优化后的实现，展示了编译如何通过算子融合减少内核数量，从而降低调度开销并提升内存带宽利用率。
融合MLP的实践
文章最终演示了如何将多个线性层和激活函数融合成一个内核，从而显著减少内核启动次数和全局内存访问。这种融合技术对于现代GPU架构（如NVIDIA A100）特别有效，因为可以减少对HBM带宽的依赖并提高计算吞吐量。
行业影响
随着模型规模的不断扩大，即使是微小的性能提升也能带来可观的成本节约。这篇文章为PyTorch用户提供了一套可操作的分析和优化方法论。它强调了理解底层内核行为的重要性，并展示了torch.compile等工具如何自动或半自动地实现融合。对于从事模型部署和训练的工程师而言，掌握这些技术有助于在保持模型精度的同时获得更高的计算效率。
