背景

全球超过一半的人口使用多种语言，对于许多双语者来说，代码切换——在句子中无缝切换语言——是日常交流的自然部分。然而，在企业环境中，语音助手如何处理代码切换语音却鲜有研究。当客户询问ServiceNow的语音代理如何服务经常进行代码切换的双语客户时，ServiceNow AI团队决定构建自己的基准测试和数据集来评估模型。

核心内容

研究团队聚焦于自动语音识别（ASR），因为转录错误会传播到语音管道的每个下游组件。在企业环境中，错误路由的工单或误解的政策问题会带来实际运营后果，因此正确的转录至关重要。

基准测试覆盖了四种相关语言对：西班牙语-英语、法语-英语、加拿大法语-英语和德语-英语。它使用非英语语言作为矩阵框架，英语嵌入其中，长度各异。数据涵盖广泛的人力资源和IT服务管理场景，包括员工关于福利或薪资的询问，以及密码重置、VPN访问或设备故障排除等支持请求。

为衡量不同模型的性能，团队报告了三个指标：词错误率（WER）、语义词错误率（SWER）和答案错误率（AER）。这些指标旨在同时捕捉模型在转录中的精确准确性，以及它们保留话语含义以供下游任务的能力。

研究通过AU-Harness发布了基准和数据，并提供了七个ASR系统的结果，包括一些大型音频语言模型、前沿ASR和开源ASR。主要发现是代码切换的成本因语言对和测试模型而异。ElevenLabs Scribe V2、Gemini 3 Flash和Assembly AI Universal 3-Pro在任务中表现最佳。

行业影响

这项研究对依赖语音代理的企业有重要启示：不同ASR系统对代码切换的处理能力差异很大，选择时需根据实际语言组合进行测试。基准的开放发布也有助于社区推动更鲁棒的语音识别技术发展。

---

来源