# EVA-Bench Data 2.0:三大企业领域、121个工具、213个场景,全面评估语音代理能力

4 min read
Table of Contents

背景

语音代理(Voice Agent)在企业服务中的普及,暴露出一个核心问题:失败往往高度依赖特定领域。一个能完美处理航班改签中字母数字确认码的系统,可能在处理HR系统的复杂策略时崩溃。不同领域要求代理适应不同的词汇、工作流程复杂度和用户预期。为此,ServiceNow在2026年6月发布了EVA-Bench Data 2.0,将评估场景从单一企业领域扩展到三个:航空公司客户服务管理(CSM)、企业IT服务管理(ITSM)和医疗HR服务交付(HRSD)。

核心内容分析

数据规模与构成

新版本涵盖121个工具(API)上的213个评估场景,相比原始版本场景覆盖提升约4倍。每个场景均针对三个前沿模型(OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6)进行了可解性验证,确保基准既具有挑战性又公平。三个数据集均已开源,可通过Hugging Face Datasets加载:

  • 航空公司CSM:50个场景
  • 企业ITSM:80个场景
  • 医疗HRSD:83个场景

设计原则

EVA-Bench遵循五个核心设计原则:

  1. 语音优先范围:仅选取在现实中通过电话处理的企工作流程,而非所有企业任务。
  2. 跨域多样性:三个领域覆盖35+个不同工作流程,测试代理在不同术语和规则下的适应能力。
  3. 可解性验证:所有场景均被至少两个前沿模型成功解决,避免人为构造的“不可能任务”。
  4. 现实复杂度:场景包含多轮交互、工具调用和异常处理。
  5. 可复现性:开源数据集和生成流程,便于社区复现和扩展。

新领域解读

  • 航空公司CSM:涵盖航班查询、改签、取消、特殊服务请求等,考验代理处理动态信息(如实时航班状态)和复杂策略(如不同票价规则下的改签费用计算)。
  • 企业ITSM:涉及工单管理、设备配置、密码重置、权限变更等,要求代理理解ITIL流程和术语。
  • 医疗HRSD:包含员工福利查询、休假申请、保险验证等,需处理隐私要求和医疗领域专业术语。

行业影响/专业点评

EVA-Bench 2.0填补了企业级语音代理评估的空白。此前多数基准聚焦于通用对话或单一领域,而企业部署需要代理跨域工作。通过提供覆盖三个典型行业的标准化场景,它帮助企业更准确地选择适合自己的语音代理产品。对于开发者,开源数据集和生成流程降低了构建定制评估的门槛。尤其值得关注的是,该基准验证了场景可解性,避免过度乐观或悲观的结果。未来预览的多语言扩展将进一步推动全球企业场景的评估。如果企业计划部署语音代理,建议将EVA-Bench作为评估流程中的关键一环。


来源

My avatar

文章看完了,不打算去别的篇章转转吗?👀 感谢你的耐心阅读!如果你有问题想探讨,或者发现了文中的 Bug,请务必通过页脚的链接联系我


More Posts

Comments