Table of Contents
背景
长期以来，AI社区的关注焦点主要集中在训练成本上——训练一个大型语言模型需要多少GPU小时、多少资金。然而，随着模型能力的提升和应用场景的复杂化，一个被忽视的成本正在悄然成为新的瓶颈：AI评估（evaluation）的成本。
Hugging Face最新发布的博文指出，AI评估已经跨过了一个成本阈值，改变了谁能够进行有意义的评估。以Holistic Agent Leaderboard（HAL）为例，该榜单最近花费了约4万美元来运行21,730个代理任务的评估，涉及9个模型和9个基准测试。而仅仅对一个前沿模型运行一次GAIA基准测试，在未使用缓存的情况下，成本就高达2,829美元。
核心内容分析
代理评估：成本倍增的元凶
代理（Agent）评估是成本激增的主要来源。Exgentic的2.2万美元评估揭示了不同代理配置下高达33倍的成本差异，其中脚手架（scaffold）选择成为首要的成本驱动因素。英国AI安全研究所（UK-AISI）最近将代理步骤扩展到数百万级别，以研究推理时计算。
在科学机器学习领域，评估成本同样惊人。The Well基准测试评估一个新架构需要约960 H100小时，而完成四个基线的完整评估则需要3,840 H100小时。虽然压缩技术已被提出用于静态基准测试，但新的代理基准测试噪声大、对脚手架敏感，且只能部分压缩。训练循环中的基准测试本身就非常昂贵，而为了提高评估可靠性进行的重复运行会进一步倍增成本。
静态LLM评估：早已存在的成本问题
评估成本问题在代理出现之前就已存在。斯坦福CRFM在2022年发布HELM时，其每模型成本统计显示，API调用成本从OpenAI code-cushman-001的85美元到AI21 J1-Jumbo（178B）的10,926美元不等，开源模型则需540到4,200 GPU小时。对于BLOOM（176B）和OPT（175B），成本处于最高区间。
IBM Research指出，让Granite-13B通过HELM评估“可能需要多达1,000 GPU小时”。在HELM的30个模型和42个场景中，报告的成本和GPU计算总计约10万美元。
开发迭代中的评估成本陷阱
Perlitz等人对EleutherAI’s Pythia检查点的分析发现了一个令人震惊的观察：开发者在模型开发过程中反复为评估付费。Pythia为16个模型（8种尺寸）发布了154个检查点，如果每个模型检查点单独计算，则总计2,464个检查点。在所有检查点上运行LM Evaluation Harness，使得评估成本成为训练的乘数。
Perlitz等人（2024）指出，当评估所有检查点时，评估成本“甚至可能超过预训练成本”。对于小型模型，评估在整个开发周期中成为主要的计算开支。当我们扩展推理时计算时，评估成本也随之扩展。
可能的出路：粗到细的评估策略
Perlitz等人随后探究了HELM中实际支撑排名的部分。结果令人震惊：计算量减少100倍至200倍几乎保持相同的排序，而在论文的分层分析下，更大程度的减少仍可用于粗略分组。Flash-HELM将这一发现转化为粗到细的流水线，为缓解评估成本问题提供了一种思路。
行业影响/专业点评
AI评估成为新计算瓶颈这一趋势正在重塑整个行业。首先，它将加剧AI研究的不平等——只有资金雄厚的实验室才能进行全面的评估，而小型研究团队和初创公司可能被排除在外。其次，评估成本的飙升可能促使社区开发更高效的评估方法，例如压缩基准测试、粗到细的评估策略，或者利用模型本身来辅助评估。
对于开发者而言，在选择模型和评估时，需要更加关注评估的成本效益。同时，评估服务提供商（如Hugging Face、OpenAI等）可能需要创新定价模式，以降低评估门槛。未来，评估基础设施的优化可能与模型优化同等重要，成为AI工程化的关键组成部分。
