Table of Contents
背景
训练大型语言模型（LLM）的成本一直备受关注，但评估（Evaluation）的成本却常常被忽视。随着AI Agent和多模态模型的兴起，评估的复杂性和计算需求正在爆炸式增长。HuggingFace团队在一篇最新博客中指出，AI评估已经跨越了一个成本阈值，正在改变谁能进行有效评估的格局。
核心内容分析
评估成本的真实规模
博客引用了多个具体案例来说明问题的严重性。Holistic Agent Leaderboard (HAL) 最近花费约4万美元，在9个模型和9个基准上进行了21,730次Agent rollout。一个单独的GAIA运行在一个前沿模型上，缓存前成本可达2,829美元。Exgentic的2.2万美元Agent配置扫描发现，在相同任务上成本差异高达33倍，其中scaffold选择成为首要成本驱动因素。UK-AISI最近将Agent步骤扩展到数百万，以研究推理时间计算。在科学机器学习领域，The Well评估一种新架构需要约960个H100小时，而完整四基线的扫描则需要3,840个H100小时。
静态LLM基准的成本问题由来已久
成本问题并非始于Agent。2022年Stanford发布HELM时，每个模型的API成本从OpenAI的code-cushman-001的85美元到AI21的J1-Jumbo的17.8万参数的10,926美元不等，开放模型则需540至4,200个GPU小时。IBM指出，将Granite-13B放入HELM可能消耗多达1,000个GPU小时。总体来看，HELM的30个模型和42个场景的累积成本约为10万美元。
更惊人的发现来自Perlitz等人对EleutherAI Pythia检查点的分析：开发者在模型开发过程中重复进行评估。Pythia发布了154个检查点，每个检查点对应16个模型的8种尺寸，总共2,464个检查点。在所有检查点上运行LM评估工具包，评估成本乘以训练成本。对于小模型，评估成为整个开发周期中占主导地位的计算项。
优化可能性与局限
Perlitz等人研究了HELM中实际决定排名的部分，结果显示，将计算量减少100到200倍，几乎能保持相同的排序。Flash-HELM将这一发现转化为从粗到细的评估流水线。然而，对于新的Agent基准，由于噪声大、对scaffold敏感且仅部分可压缩，优化空间有限。训练在循环中的基准本质上昂贵，而增加可靠性需要重复运行，进一步放大成本。
行业影响/专业点评
评估成本的飙升正在重塑AI开发生态。对于小型团队和学术机构，高昂的评估费用可能成为进入门槛，迫使他们依赖更便宜但可能不够全面的基准。而对于大公司，评估成本虽然可接受，但效率问题也促使业界寻找更智能的评估策略，如分层评估、子集采样和缓存机制。
此外，成本问题也推动了标准化努力，例如HuggingFace Hub正在整合更多的推理提供商，试图通过弹性扩展降低成本。但根本性的解决可能需要对评估方法论本身进行革新，例如开发更高效、更具代表性的基准，以及利用模型间的相似性进行迁移评估。
评估不再是一个简单的“后处理”步骤，而是与训练同等重要的成本中心。忽视这一趋势，可能导致模型开发中的“暗物质”——我们不知道模型在真实场景中表现如何，因为全面评估的成本高到令人却步。
