背景

语音代理（Voice Agent）在企业中的应用日益广泛，但往往在特定领域失败。一个系统可能在航班改签中完美处理字母数字确认码，但在处理HR系统的复杂策略时却失败。不同领域考验代理适应不同词汇、工作流复杂性和用户期望的能力。为此，ServiceNow AI团队发布了EVA-Bench 2.0，从单一企业领域扩展到三个领域：航空客户服务管理（CSM）、企业IT服务管理（ITSM）和医疗HR服务交付（HRSD）。

核心内容分析

规模倍增

EVA-Bench 2.0共包含213个评估场景，覆盖121个工具，场景覆盖范围约为原始版本的4倍。所有场景均针对三个前沿模型（OpenAI GPT-5.4、Google Gemini 3.1 Pro和Anthropic Claude Opus 4.6）验证了可解性，确保基准既具有挑战性又公平。三个数据集都是开源的，可通过Hugging Face datasets库加载。

数据设计原则

数据集的设计遵循五个原则：

1. 语音优先范围：并非每个企业工作流都适合语音基准。团队首先识别每个领域中实际通过电话处理的任务，然后选择代表性的场景。
2. 覆盖广泛工作流：三个领域涵盖35+不同的工作流，从简单的信息查询到复杂的多步骤交易。
3. 工具多样性：每个场景涉及特定的工具调用，代理必须学会使用正确的工具。
4. 场景复杂度分层：包括简单、中等和复杂场景，以评估代理在不同难度下的表现。
5. 可复现性：详细记录了生成和验证过程，使其他人可以构建自己的评测数据集。

新增领域深入

• 航空CSM（50个场景）：包括航班预订、改签、取消、行李问题、特殊情况处理等。这些场景涉及复杂的规则和实时数据。
• ITSM（80个场景）：涵盖IT服务台常见问题，如密码重置、软件安装、网络故障排除等。对代理的故障诊断能力要求高。
• 医疗HRSD（83个场景）：包括员工入职、福利查询、请假、健康保险等。对隐私和合规性敏感。

团队还预告了即将推出的多语言扩展，将基准覆盖范围从仅英语扩大到更多语言。

行业影响/专业点评

EVA-Bench 2.0的发布为语音代理评估提供了更全面、更现实的基准。企业部署语音代理时，往往需要针对特定领域进行测试，而此前缺乏覆盖多领域的标准化评测。该基准不仅帮助开发者评估代理性能，还提供了构建评测数据集的参考流程。随着语音代理在客服、IT支持、医疗等领域的普及，EVA-Bench有望成为行业标准之一。开源的性质也鼓励社区贡献更多领域场景，推动语音代理技术向更鲁棒、更适用方向发展。

---

来源