背景

随着大语言模型（LLM）在非英语场景的普及，阿拉伯语评估面临基准碎片化、翻译偏差和缺乏质量验证等问题。TII 团队（Technology Innovation Institute）推出 QIMMA（阿拉伯语意为“顶峰”），旨在通过严格的质量验证重塑阿拉伯语 LLM 评估。

核心内容

QIMMA 整合了 14 个来源基准的 109 个子集，涵盖 52,000 个样本，覆盖文化、STEM、法律、医学、安全、诗歌和代码 7 大领域，其中 99% 为原生阿拉伯语内容。与其他排行榜不同，QIMMA 在评估模型前先对每个样本进行双阶段验证：首先使用 Qwen3-235B 和 DeepSeek-V3 两个强模型按 10 分制独立打分（涵盖语法、文化适配等 10 项标准），低于 7 分且两模型一致的样本直接淘汰；不一致的样本进入第二阶段，由母语者人工裁决。

结果发现，即使是广泛使用的阿拉伯语基准也存在严重的翻译质量、标注错误和编码问题。QIMMA 是首个同时具备开源、原生阿拉伯语、质量验证、代码评估和公开输出五项特性的排行榜，其验证流水线可有效避免“虚假高分”。

行业影响

QIMMA 为低资源语言的 LLM 评估提供了方法论范例。其质量验证理念可推广至其他语言，促使社区更关注基准本身的可靠性而非仅模型排名。此外，该排行榜包含文化、法律等特色领域，有助于推动阿拉伯语 AI 在真实场景中的应用。