Table of Contents
背景
长期以来，基础模型的“缩放”主要意味着“增加预训练计算量，能力随之提升”。这一直觉源于 Kaplan 等人（2020）的经验研究，该研究揭示了模型参数、数据集大小和训练计算量之间的可预测幂律关系。在实践中，这些趋势证明了大规模加速器容量及分布式基础设施投资的合理性。
但前沿已演进——缩放不再是单一曲线。NVIDIA 提出的“从一到三缩放定律”框架强调，除了预训练，性能越来越通过后训练（如监督微调 SFT 和基于强化学习的方法）以及测试时计算（如“长时间思考”、搜索/验证、多样本策略）来扩展。
这三种缩放机制共同推动基础模型的生命周期——预训练、后训练和推理——走向趋同的基础设施需求：紧耦合的加速器计算、高带宽低延迟网络以及分布式存储后端。同时，资源管理的编排以及应用层和硬件层的可观测性也变得至关重要。
核心内容分析
AWS 团队在最新博客中详细阐述了如何利用开源软件栈来满足这些需求。关键趋势是基础模型生命周期越来越依赖开源生态系统，包括模型开发框架（PyTorch、JAX）、集群资源管理（Slurm、Kubernetes）以及可观测性工具（Prometheus、Grafana）。这种分层架构使硬件基础设施支持资源编排，进而支撑 ML 框架，可观测性则贯穿所有层级。
对于 AWS 上的基础模型训练和推理，博客重点介绍了专用基础设施，如带有 Elastic Fabric Adapter（EFA）的 EC2 实例，可提供低延迟网络；以及 Amazon S3 和 FSx for Lustre 等分布式存储方案。然而，文章更强调开源组件的集成：通过 Slurm 调度大规模训练作业，结合 PyTorch 的分布式数据并行和模型并行，利用 Prometheus 监控集群健康。
特别地，AWS 团队指出，在“三缩放定律”时代，后训练和推理阶段的规模扩大要求基础设施不仅支持高吞吐量预训练，还要处理高频、低延迟的强化学习推理和长序列推理。这驱动了对更高效推理引擎（如 vLLM）和自适应批量调度的需求。
行业影响/专业点评
AWS 的这一视角标志着行业对“缩放”理解的深刻转变。过去，企业只需投资更多 GPU 就能获得更好模型；现在，他们必须构建支持多种缩放范式的灵活基础设施。开源组件的重要性上升——厂商锁定的风险降低，但集成和运维的复杂度增加。
对于 AI 团队，这意味着需要重新评估基础设施投资：不仅关注峰值算力，更要关注网络带宽、存储 I/O 以及编排工具是否支持异构工作负载（预训练、微调、推理并行）。同时，可观测性成为核心竞争力——没有对集群健康状况和瓶颈的实时洞察，大规模训练很容易被细微的错误拖垮。
AWS 的路线与业内其他云提供商（如 GCP、Azure）一致，但其对开源栈的拥抱更深。未来，谁能在开源社区中主导关键工具（如 PyTorch 分布式组件）的优化，谁就能吸引更多模型开发者入驻其云。
