Table of Contents
背景
随着大型语言模型能力的增强，企业IT运维领域对AI代理（Agent）的期望迅速攀升。从自动化故障诊断到基础设施管理，企业希望AI能够像资深工程师一样处理复杂任务。然而，现有基准测试多聚焦于通用问答或代码生成，缺乏对真实企业级IT场景的评估。例如，Kubernetes环境中的事件响应要求模型不仅要理解日志、追踪、指标等多源数据，还要在复杂拓扑中定位根因实体——这对模型的推理、规划和环境交互能力提出了极高要求。
2026年5月27日，Artificial Analysis与IBM软件创新实验室联合发布了ITBench-AA，这是一个专门评估AI代理在企业IT任务中表现的基准系列，首期聚焦于站点可靠性工程（SRE）任务。测试结果显示，所有前沿模型得分均低于50%，凸显了现有模型在企业级代理任务中的显著短板。
核心内容分析
基准设计：真实SRE场景
ITBench-AA SRE基准包含59个任务，其中40个公开任务和19个全新的保留任务。每个任务提供一次Kubernetes故障快照，包含告警、事件、追踪、指标、日志以及应用拓扑信息。模型需要识别出导致故障的最少独立根因Kubernetes实体。故障类型涵盖典型SRE失效模式，如资源配额耗尽、滚动更新失败、连接池耗尽、网络分区等。
评估结果：所有模型不及格
- Claude Opus 4.7（自适应推理，最大努力模式）以**47%**的准确率领先
- GPT-5.5（xhigh）紧随其后，达46%
- Qwen3.7 Max为42%
- GLM-5.1（推理模式）在开放权重模型中领先，达40%，与Gemini 3.5 Flash（高精度）持平
- DeepSeek V4 Pro（推理，最大努力）为38%
- Gemma 4 31B（推理）为37%
- Gemini 3.1 Pro Preview仅30%
所有前沿模型得分低于50%，标志着ITBench-AA SRE成为现有代理基准中饱和度最低的之一（作为对比，模型在Terminal-Bench上的得分明显更高）。
关键发现：长轨迹未必高质量
研究还发现，模型在任务中的回合数变化近3倍，但更长的推理轨迹并未转化为更高准确率。例如，GPT-5.5平均每任务使用31回合，准确率46%；而Gemini 3.1 Pro Preview平均每任务使用83回合，准确率仅30%。过度调查的模型倾向于将上游故障注入机制或共存症状误判为假阳性。
评估方法论
ITBench-AA采用开源的Stirrup参考框架作为代理运行环境，模型通过Shell访问沙盒文件系统，模拟真实运维过程。这种设计保证了评估的可复现性和公平性。
行业影响与专业点评
ITBench-AA的发布为企业级AI代理的评估提供了重要参考。低于50%的得分表明，当前最先进的模型在面对复杂、多步骤的IT故障诊断时仍力有不逮。这既反映了模型在长因果链推理、多源数据融合和实时环境交互上的不足，也为后续研究指明了方向——例如，如何减少过度调查、提升稀疏信息利用率。
对于企业而言，这一基准意味着直接部署AI代理处理关键运维任务风险较高，人机协同仍然是更稳妥的选择。对于模型开发者，ITBench-AA提供了一个清晰的改进目标：只有真正理解系统拓扑、日志语义和故障传播路径的模型，才能胜任企业IT场景。
未来，ITBench还将扩展至金融运营（FinOps）和首席信息安全官（CISO）任务，覆盖更广泛的企业IT需求。这一基准系列有望成为评估AI代理企业级能力的“标尺”，推动模型从“聊天高手”走向“实干专家”。
