Table of Contents
背景
随着大语言模型能力的不断提升，业界开始探索将其应用于企业级IT运维任务，如故障诊断、日志分析等。然而，这些任务往往涉及复杂的系统拓扑、多源数据（日志、指标、告警、追踪）和实时决策，对模型的推理和工具使用能力提出了极高要求。为了系统评估模型的真实水平，Artificial Analysis 与 IBM 软件创新实验室联合推出了 ITBench-AA——首个专为企业级IT智能体任务设计的基准测试系列。该系列以站点可靠性工程（SRE）为起点，后续将扩展至财务运营（FinOps）与首席信息安全官（CISO）等场景。
核心内容分析
ITBench-AA SRE 基准测试包含59个任务，其中40个为公开任务，19个为全新留存任务。每个任务提供一个 Kubernetes 事故快照，包括告警、事件、追踪、指标、日志及应用拓扑信息。模型需从复杂的基础设施中识别出导致事故的最小根因实体集合。故障类型覆盖典型的SRE失效模式：基础设施、服务、应用及混沌注入事故，如资源配额耗尽、发布失败、连接池枯竭、网络分区等。
测试采用开源 Stirrup 参考框架，模型通过外壳访问沙盒文件系统，诊断实时系统。关键发现如下：
- 所有前沿模型得分均低于50%：Claude Opus 4.7（自适应推理，最大努力）以47%领先，GPT-5.5（xhigh）以46%紧随其后，Qwen3.7 Max 为42%。这使 ITBench-AA SRE 成为当前最饱和度最低的智能体基准之一。作为对比，前沿模型在 Terminal-Bench 上的得分要高得多。
- 交互轮次差异巨大：GPT-5.5 平均每任务31轮，准确率46%；而 Gemini 3.1 Pro Preview 平均83轮，准确率仅30%。过度调查的模型倾向于将上游故障注入机制或共现症状误判为根因，导致假阳性。
- 开源模型表现亮眼：GLM-5.1（推理）以40%领先开源权重模型，与 Gemini 3.5 Flash（高）持平。DeepSeek V4 Pro（推理，最大努力）为38%，Gemma 4 31B（推理）为37%，均高于 Gemini 3.1 Pro Preview 的30%。
方法上，ITBench-AA 采用严格的智能体评估范式，模型需在交互环境中完成诊断，而非仅通过静态问答。这更贴近真实运维场景，也解释了为什么传统基准上的高分模型在此表现平平。
行业影响/专业点评
ITBench-AA 的发布揭示了当前大模型在企业级自动运维中的核心瓶颈：虽然模型在代码生成、客服对话等任务上表现优异，但当面对需要多步推理、异构数据融合和根因定位的复杂IT任务时，能力仍显不足。低于50%的得分表明，距离完全自动化运维还有相当距离。
该基准的另一个重要价值在于对比了不同模型的推理策略：高轮次并不等同于高准确率，过度分析反而导致假阳性。这提示开发者应关注模型在有限交互内的决策效率，而非单纯增加推理步骤。同时，开源模型的强势表现（GLM-5.1与Gemini 3.5 Flash并列）表明，经过针对性调优的小参数模型有望在垂直领域实现高性价比应用。
对于企业用户，ITBench-AA 提供了一套可复现的评估框架，可用于选型或验收智能体系统。未来随着 FinOps 和 CISO 任务的加入，该基准将覆盖更广泛的企业IT场景，推动智能体从实验室走向生产环境。
