Table of Contents
背景
长期以来，AI领域的计算瓶颈主要集中在模型训练阶段——动辄数千GPU小时的预训练消耗了绝大部分算力。然而，随着模型能力的提升和评估范式的转变，一个悄然升起的瓶颈正在改变这一格局：AI评估（eval）的计算成本正在急剧攀升，甚至在某些场景下超过了训练成本。
近日，Hugging Face团队在一篇博文中系统性地揭示了这一问题。从静态基准到代理（agent）基准，从单次推理到多步rollout，评估成本的增速远超预期。这一趋势对研究机构、小型团队乃至整个开源生态的可持续性提出了严峻挑战。
核心内容分析
代理基准：评估的“奢侈”时代
以Holistic Agent Leaderboard（HAL）为例，该榜单近期评估了9个模型在9个基准上的表现，共进行了21,730次代理rollout，总花费约4万美元。更令人震惊的是，仅在一个GAIA任务上运行单个前沿模型（不开缓存）就需要2,829美元。代理评估中，不同的编排（scaffold）选择会导致高达33倍的成本差异——Exgentic的2.2万美元测试揭示了这一点。英国AI安全研究所（UK-AISI）甚至将代理步骤扩展到数百万级别，以研究推理时计算。
科学ML领域同样面临评估成本问題。以The Well基准为例，评估一个新架构需要约960个H100 GPU小时，而完整评估四个基线则需3,840小时。即使对于静态基准，压缩技术已被提出，但新型代理基准噪声大、对编排敏感，且仅部分可压缩。更关键的是，训练过程中反复评估（如检查点评估）使成本成倍放大。
静态LLM评估：早已存在的隐患
评估成本并非代理时代的新问题。早在2022年，斯坦福CRFM发布的HELM基准中，单模型API成本就从OpenAI的85美元到AI21的10,926美元不等，开源模型则需540至4,200 GPU小时。IBM指出，在其Granite-13B模型上运行HELM可能消耗多达1,000 GPU小时。HELM全部30个模型和42个场景的累计成本约为10万美元。
Perlitz等人对EleutherAI的Pythia模型的分析更令人警醒：Pythia发布了154个检查点（每个检查点对应16个模型共8种规模，总计2,464个检查点），若对所有检查点运行LM Evaluation Harness，评估成本“可能超过预训练成本”。对于小模型，评估成为整个开发周期中最大的计算开销。当推理时计算规模化时，评估成本也随之攀升。
成本压缩的可能性
好消息是，评估成本并非不可压缩。Perlitz等人发现，HELM中100倍到200倍的计算量缩减仍能保持几乎相同的排名顺序，进一步缩减在分层分析中仍有粗粒度分组价值。Flash-HELM项目正是将这种粗到细的方法付诸实践。然而，对于代理基准和训练循环内评估，压缩效果有限。
行业影响与专业点评
AI评估成本的飙升正在重塑行业格局。首先，它提高了准入壁垒——高昂的评估费用可能将小型团队和学术机构拒之门外，加剧“富者愈富”的马太效应。其次，评估成本迫使研究者重新思考基准设计：未来更可能采用轻量动态评估，而非一次性跑满全部基准。
从长远看，评估作为模型开发的关键环节，其成本效率将直接影响AI创新速度。我们可能需要像“推理时优化”那样，开发“评估时优化”技术，例如自适应选择测试用例、分层抽样、以及基于预算的多阶段评估协议。OpenAI、Google等头部公司或许能承受数万美元的单次评估，但整个生态的健康需要更低成本、高保真度的评估方案。
Hugging Face团队呼吁社区关注这一瓶颈，并分享他们的发现。正如他们所言：“当评估成本成为新瓶颈，我们需要的不仅是更便宜的推理，更是更聪明的评测。”
