背景

随着大型语言模型（LLM）在编码、推理等任务上不断突破，业界开始将其应用于更复杂的企业IT运维场景——例如自动诊断集群故障、排查依赖关系、修复服务中断。然而，这类任务要求模型不仅具备知识，还需要在真实环境中自主探索、分析日志、追踪调用链并最终确定根因实体。

长期以来，缺乏一个标准化、具有挑战性的基准来衡量模型在此类“智能体式”企业IT任务上的能力。2026年5月27日，Artificial Analysis与IBM Software Innovation Lab联合发布了ITBench-AA，该基准聚焦于站点可靠性工程（SRE）任务，旨在填补这一空白。

核心内容分析

基准设计：真实的SRE故障场景

ITBench-AA SRE基准包含59个任务，其中40个公开、19个全新且保密。每个任务提供一个Kubernetes事故快照，包含告警、事件、追踪、指标、日志以及应用拓扑信息。模型必须识别出导致事故的独立根因Kubernetes实体集合（最小化集合）。

故障类型覆盖典型的SRE失效模式：基础设施问题（如资源配额耗尽）、服务问题（如回滚失败）、应用程序问题（如连接池耗尽）以及混沌注入事故（如网络分区）。这种设计确保了任务既反映实际运维挑战，又避免单纯依赖模式匹配。

评测方法与关键发现

研究中采用了开源Stirrup参考框架作为智能体测试环境，为模型提供shell访问沙盒文件系统，使其能够自主执行命令、读取文件并逐步推理。

关键发现如下：

• 所有前沿模型得分均低于50%，Claude Opus 4.7（适应性推理，最大努力）以47%位居榜首，GPT-5.5（xhigh）以46%紧随其后，Qwen3.7 Max为42%。这使得ITBench-AA SRE成为目前智能体基准中饱和度最低的之一。
• 模型之间交互轮数差异巨大（近3倍），但更多轮数并未带来更高准确率。例如，GPT-5.5（xhigh）平均每任务31轮，准确率46%；而Gemini 3.1 Pro Preview平均83轮，仅达30%。过度调查反而容易引入误报。
• 开源模型表现亮眼：GLM-5.1（推理）以40%领先开源阵营，与Gemini 3.5 Flash（高）持平；DeepSeek V4 Pro（推理，最大努力）为38%，Gemma 4 31B（推理）为37%，均超过Gemini 3.1 Pro Preview的30%。

为什么得分如此之低？

低分背后反映了企业IT智能体面临的核心挑战：

1. 信息过载与噪声：真实运维数据中充斥着冗余告警和并发症状，模型需要区分相关与无关信息，并聚焦于根本原因。
2. 长程推理与状态管理：任务通常需要多步探索，模型必须维护一致的状态记忆，并在多次工具调用中保持推理轨迹。
3. 谨慎评估的难度：根因识别要求输出精确的实体集合，过度推理或遗漏都会导致分数下降。

行业影响与专业点评

ITBench-AA的发布标志着智能体评估从“单步问答”向“多步交互式诊断”的重要跃进。该基准的低分表明，当前前沿模型在复杂企业IT任务上仍有巨大提升空间。这对于AI在运维领域的实际落地（如AIOps）具有直接指导意义：模型不仅需要更强的推理能力，还需要改进策略——例如“何时停止调查”的元认知，以及更有效的信息筛选机制。

此外，基准涵盖的是SRE领域，未来计划扩展到FinOps（财务运营）和CISO（信息安全官）任务，这将进一步推动智能体在跨部门企业场景中的能力横向对比。对于研究者和开发者而言，ITBench-AA提供了一个现实且不饱和的实验场，有望催生更鲁棒的智能体架构和训练方法。

---

来源