Table of Contents
背景
长期以来，AI领域的目光集中在训练算力上——GPT-3、Llama等大模型的训练成本动辄千万美元，成为技术发展的核心瓶颈。然而，一篇来自HuggingFace的最新分析指出，AI评估（Eval）正在悄然成为新的算力瓶颈，其成本增长之快，甚至在某些场景下超越了训练本身。
核心内容：评估成本飙升的数据真相
最新发布的Holistic Agent Leaderboard（HAL）揭示了惊人的成本：在9个模型和9个基准上运行21,730次Agent rollout，总花费约4万美元。更令人咋舌的是，在未使用缓存的情况下，针对一个前沿模型运行单次GAIA基准测试就要花费2,829美元。Exgentic公司对Agent配置进行了22,000美元的全面扫描，发现即使在相同任务上，不同配置间的成本差异高达33倍——其中scaffold（脚手架）选择成为首要成本驱动因素。
这种成本压力并非Agent独有。英国AI安全研究所（UK-AISI）最近将Agent推理步骤扩展到数百万规模以研究推理时计算扩展。在科学ML领域，评估一个新架构的The Well基准需要约960个H100小时，完整的四基线扫描则需要3,840个H100小时。
更令人震惊的是来自Perlitz等人对EleutherAI Pythia检查点的分析：开发者在模型开发过程中会反复进行评估。Pythia发布了154个检查点，每个检查点针对16个模型（8种规模），如果每个模型检查点单独计数，则需评估2,464个检查点。在所有检查点上运行LM Evaluation Harness，会使评估成本变成训练的倍数。Perlitz等人（2024年）指出：“当评估检查点时，评估成本甚至可能超过预训练成本。”对于小型模型，评估在整个开发周期中成为最大的计算开支。
压缩方法能否缓解？
研究团队发现，HELM排行榜的排序结果在100到200倍的计算量缩减下仍能保持几乎相同的排序。Flash-HELM项目正将这一发现转化为从粗到细的剪枝策略。然而，针对静态基准的压缩方法虽已提出，但新的Agent基准噪声大、对scaffold敏感，且仅部分可压缩。训练过程中使用的基准因其构造方式而天然昂贵，而为了提高可靠性进行的重复运行则进一步放大成本。
行业影响与专业点评
评估成本瓶颈的出现，意味着AI发展的天平正在从“如何训练”转向“如何验证”。过去，研究人员可以轻松地在多个基准上测试模型，但现在，一次完整的评估可能需要数万美元的API费用或数千GPU小时。这可能导致学术研究和小团队在高质量评估上失去竞争力，进一步加剧AI领域的资源集中。
另一方面，评估成本的飙升也催生了新的研究方向：如何设计更高效的评估方法？如何实现评估的压缩与复用？Flash-HELM等项目的思路——通过少量计算获得大致排序，再对关键模型进行精确评估——可能成为未来的标准范式。对于Agent评估，scaffold优化和缓存策略也将成为降本的关键。
结论
AI评估不再是训练后的“点缀”，而是与训练并驾齐驱的成本中心。从业者需要重新审视评估流程，拥抱压缩、缓存和渐进式评估。否则，评估可能成为限制AI创新速度的新瓶颈。
