Table of Contents
背景
过去几年，AI社区的关注点主要集中在训练成本上——GPT-4的训练据称耗费上亿美元，各大公司竞相投入海量GPU训练更大模型。然而，HuggingFace最新发布的博客文章《AI evals are becoming the new compute bottleneck》指出，一个被忽视的隐形算力黑洞正在浮现：评估成本。随着agent基准测试、长上下文评估和训练中评估的普及，评估的算力消耗已急剧攀升，在某些场景下甚至超过预训练本身。
核心内容分析
AGENT评估：一次跑分花费4万美元
Holistic Agent Leaderboard (HAL) 最近一次完整评估的账单令人咋舌：在9个模型和9个基准上运行21,730次agent rollout，总成本约40,000美元。其中，单次GAIA基准测试（前沿模型）的成本就高达2,829美元（未计缓存优化）。
Exgentic公司的一项研究进一步揭示了agent评估的成本波动性：在相同任务上，不同agent配置的成本差异可达33倍，而scaffold（脚手架）选择是成本的第一驱动因素。英国AI安全研究所（UK-AISI）最近将agentic步骤扩展到数百万量级，以研究推理时计算，其评估成本可想而知。
科学ML评估：单次实验需数千GPU小时
在科学机器学习领域，The Well基准测试评估一个新架构需要约960 H100小时，而完成包含四个基线的完整扫描则需要3,840 H100小时。这些成本还仅针对一次评估，如果考虑模型开发过程中的反复迭代，总成本将成倍增长。
静态LLM评估：从HELM到Flash-HELM的启示
评估成本问题并非agent时代才出现。2022年斯坦福CRFM发布的HELM基准显示，仅评估一个模型（如AI21的J1-Jumbo）的API成本就高达10,926美元，而开源模型如BLOOM需要4,200 GPU小时。整个HELM项目（30个模型、42个场景）的总评估成本约10万美元。
更令人震惊的是EleutherAI的Pythia检查点分析：开发者需要在模型开发过程中反复评估。Pythia发布了16个模型、每个模型154个检查点，总计2,464个检查点。使用LM Evaluation Harness评估所有检查点的成本，甚至可能超过预训练成本。对于小模型而言，评估成为整个开发周期中最大的计算开销。
值得庆幸的是，研究也发现了压缩评估成本的可能性。Perlitz等人的研究表明，通过粗到精的剪枝，可以将HELM的评估计算量减少100-200倍而保持几乎相同的性能排序。Flash-HELM正是基于这一发现实现了高效评估。但对于agent基准测试，由于其噪声大、对scaffold敏感且仅部分可压缩，压缩技术面临更大挑战。
行业影响与专业点评
评估成本飙升正在重塑AI开发生态。首先，它提高了参与门槛——小型研究团队和独立开发者可能无力承担昂贵的agent评估。其次，它可能导致评估实践的不透明化：为了节省成本，开发者可能跳过某些基准或减少重复运行，从而影响结果的可靠性。
另一方面，这也催生了新的商业机会：评估即服务（Eval-as-a-Service）、评估缓存优化、以及粗到精评估策略等。正如HuggingFace所指出的，当推理时计算规模扩大时，评估成本也随之同步增长，这意味着我们需要重新思考评估基础设施的设计。
长远来看，评估算力瓶颈的解决需要多方协作：开发更高效的评估方法（如预训练评估代理）、推广共享缓存、以及建立社区化的评估基础设施。否则，AI评估不仅可能成为新的瓶颈，更可能成为AI民主化道路上的又一道高墙。
