Table of Contents
背景
随着代码代理（coding agent）的普及，越来越多的开发任务被交给AI：描述一个任务，代理自动选择库、编写调用、运行并调试。这催生了一种新需求：软件不仅要对人友好，还要对代理友好。一个笨拙的API或过时的文档，会显著增加代理的token消耗和执行成本。
然而，现有基准测试大多只关注最终答案的正确性，忽略了代理完成任务的过程效率。为此，Hugging Face团队提出了一种全新的基准测试框架，专注于测量代理如何找到答案——包括token消耗、调用次数、调试步数等过程指标，并以transformers库作为案例进行研究。
核心内容分析
代理基准测试的设计思路
团队认为，优化软件以适配代理需要遵循两条原则：没测试就不工作，没文档就不存在。这意味着，工具必须被代理可发现、API必须清晰、文档必须结构化为代理能快速读取的形式。
针对transformers库，团队猜测通过以下修改可以大幅简化代理使用：
- 提供CLI接口
- 创建统一的“Skill”封装
- 提供自包含的任务示例
类似的思路之前应用于hf CLI，使代理的token消耗降低1.3-1.8倍（最高达6倍）。
实验设置与发现
团队将代理基准测试转化为一组可重复的运行，覆盖多个模型、库版本和任务。他们使用pi代码代理驱动，并借助Hugging Face Jobs在统一硬件上并行运行。测量指标包括：
- 任务成功率：最终答案是否正确。
- token消耗：代理在推理和工具调用中使用的总token数。
- 步骤数：代理完成任务所需的API调用次数。
- 调试成本：代理遇到错误后重新尝试的次数。
初步结果显示，经过代理优化的API版本（如新增CLI和示例）在不降低成功率的前提下，平均减少35%的token消耗。但团队强调，不同模型的表现差异显著：更强的模型（如Gemini 3.5）能更高效地利用工具，而小模型可能因文档不清晰而陷入冗余循环。
开源实现与可复现性
为了推动社区参与，Hugging Face开源了整个基准测试框架，包括数据集、运行脚本和结果可视化工具。任何人都可以针对自己的库运行测试，评估代理友好度。
行业影响/专业点评
这项工作为“代理友好的软件设计”提供了量化方法，将影响未来开源库的API设计方向。对于开发者而言，过去仅考虑人类开发者的体验，现在必须同时考虑AI代理的“阅读”和“执行”效率。基准测试框架的开放也意味着，社区可以比较不同库的代理友好度，推动良性竞争。未来，随着代理成为主流交互方式，“代理基准得分”可能像传统性能基准一样成为库的标准标签。
