GSMA Open-Telco LLM 基准

电信行业的权威人工智能基准

为什么迫切需要电信专用人工智能基准

通用人工智能模型在电信领域表现不佳。

电信运营商正在向人工智能投入数十亿美元，认识到其重新定义网络、提高效率、实现自动化和创新的潜力。从网络优化到人工智能驱动的客户互动，人工智能正在成为该行业的一项战略要务。然而，尽管有这些投资，一个关键的差距仍然存在……**当前的人工智能模型并非为电信而生！**

电信领域人工智能的独特挑战

虽然通用大型语言模型（LLM）给医疗、金融和零售等垂直行业带来了革命性的变化，但它们在电信特定任务上往往表现不佳。这主要是由于以下几个关键挑战：

• 对电信标准和政策的误解

  • 大型语言模型难以处理高度技术性的文档，例如 3GPP 规范、ETSI 报告和 ITU 指南。
  • 这导致人工智能输出不合规，可能影响从频谱管理到网络安全策略的一切。

• 网络优化与自动化中的错误

  • 人工智能驱动的网络编排、RAN 切片和拥塞控制需要电信级别的准确性。
  • 通用大型语言模型会误解优化约束，这可能导致资源分配效率低下或服务质量 (QoS) 不佳。

• 故障检测与事件解决效率低下

  • 由于缺乏电信特定数据集，人工智能驱动的网络故障排除常常失败。
  • 一些人工智能模型会提出不正确甚至适得其反的修复建议，可能导致网络可靠性恶化。

• 人工智能驱动的客户体验与服务管理挑战

  • 电信领域的人工智能驱动客户支持需要对网络、计费结构和服务配置有深入的上下文理解。
  • 通用聊天机器人通常无法为复杂的电信服务提供准确的故障排除。

GSMA 开放电信大语言模型基准如何解决此问题

为解决这些人工智能限制，**GSMA 开放电信大语言模型基准**引入了一种评估方法，用于测试大型语言模型的以下能力：

• 解析和解释 3GPP/ETSI/ITU 标准的准确性
• 处理交叉引用规范的能力
• 遵守电信法规的一致性
• 解决实际电信问题的有效性

通过根据实际电信文档和合规性场景对人工智能模型进行基准测试，GSMA 开放电信大语言模型基准确保大型语言模型针对电信标准的复杂性进行优化，使人工智能驱动的自动化更值得信赖、更高效、更符合行业要求。

电信专用人工智能基准的需求

研究结果

最近的研究表明，通用人工智能模型在电信特定任务上表现不佳，这凸显了对专用基准的需求。

• **TelBench** (SK 电信)：评估显示，现有的大型语言模型在电信客户服务和技术查询方面表现不佳，难以理解行业特定术语。
• **Telco-RAG**：检索增强型人工智能模型无法有效处理电信文档，特别是复杂的 3GPP 标准，因为其技术密集度和术语不一致。
• **TelecomGPT**：缺乏开放、高质量的训练数据限制了人工智能的性能。电信数据通常是专有的、分散的且高度技术性的，需要定制的预训练方法。

关键行业空白

通用人工智能模型未经电信优化，因为：

• 电信专用语言理解能力有限（行话、标准和缩写）。
• 缺乏电信基础设施知识（传统系统、网络优化）。
• 未能解决实际电信挑战，例如准确的网络建模和决策。

什么是 GSMA 开放电信大语言模型基准？

GSMA 开放电信大语言模型基准是一项行业主导的倡议，旨在评估电信应用领域的人工智能模型，确保它们满足该行业的独特需求。

谁是幕后推手？

这项倡议由 GSMA Foundry 发起，汇集了领先的行业参与者，以建立一个针对电信行业量身定制的标准化人工智能基准框架。

获得主要合作伙伴支持

该基准获得了广泛的电信运营商、人工智能领导者和研究机构的支持，包括：

• **技术与研究**：Hugging Face、Linux 基金会、哈利法大学。
• **电信与行业领导者**：德国电信、LG Uplus、SK 电信和 Turkcell、华为 GTS 等。

它的作用是什么？

该基准为电信领域的人工智能模型提供了一个开源、透明的评估框架，重点关注：

• **实际性能：** 测试人工智能在客户支持、网络自动化和法规遵从性方面的能力。
• **综合人工智能评估：** 评估能力、能效和安全性，确保人工智能与电信的运营和可持续发展目标保持一致。

通过为电信领域的人工智能设定统一的方法，开放电信大型语言模型基准有助于推动创新并加速人工智能在新一代网络中的采用。

基准如何运作？

发布时，GSMA 开放电信大语言模型基准将使用四个关键数据集评估人工智能模型，每个数据集都针对电信人工智能性能的关键方面。这些数据集确保模型在领域专业知识、文档理解、数学推理和网络故障排除方面得到严格测试。

* **TeleQnA** – 电信领域知识与技术理解

该数据集评估人工智能回答电信特定查询、解释行业术语以及理解 3GPP 和 ITU 法规等标准的能力。它有助于衡量人工智能模型对电信基础设施和运营复杂性的掌握程度。

* **3GPPTdocs 分类** – 标准理解与文档解析

人工智能模型在 3GPP 技术文档上进行测试，评估其能力：

• 分类和组织电信标准文档。
• 从密集的法规和技术文本中提取关键见解。

* **MATH500** – 数学推理与建模

一个综合的数学基准，包含 500 个各种数学主题的问题，包括代数、微积分、概率等。测试计算能力和数学推理。分数越高表示数学问题解决能力越强。

* **FOLIO** – 逻辑与推理

FOLIO 是一个由专家编写的、开放领域、逻辑复杂且多样化的数据集，用于一阶逻辑的自然语言推理，可用于测试大型语言模型的推理能力。

为什么这很重要？

这些数据集提供了一个全面的框架，用于评估人工智能模型在实际电信环境中的表现。结果将指导电信公司选择最有效的人工智能解决方案，用于客户服务、网络管理和运营自动化，并最终构建电信专用人工智能模型。

初步发现和模型性能

1. OpenAI 模型领先，但在电信标准方面存在差距

• GPT-4 以 56.96 的平均分位居榜首，在大多数类别中都优于所有其他模型。它在 TELE-QnA (74.91) 和 MATH-500 (76.6) 中表现出色，展现出强大的电信知识和数学推理能力。然而，其 3GPP-TSG 分数 (38.94) 表明在理解结构化电信标准文档方面存在困难。
• GPT-3.5-Turbo 紧随其后，平均分为 51.44，表现出强大的通用性能，但与 GPT-4 相比，在 TELE-QnA (67.29) 和 MATH-500 (74.68) 中略有下降。与 GPT-4 类似，它在 3GPP-TSG (38.54) 中表现不佳。

**主要启示：** 虽然 OpenAI 模型总体领先，但它们并未针对电信特定技术文档 (3GPP-TSG) 进行优化，这限制了它们在法规和标准密集型任务中的有效性。

2. 开源模型展现潜力，但在标准方面表现不佳

• Meta 的 Llama 3-8B-Instruct 平均得分为 40.38，在 TELE-QnA (68.03) 中表现良好，但在 3GPP-TSG (13.2) 中表现显著不佳。这突出表明其缺乏对结构化电信标准的接触。
• Qwen 2.5-7B-Instruct 平均得分为 39.78，与 Llama 3 相比，在 3GPP-TSG 中表现更好 (28.45)，表明其处理电信法规的能力更强。
• Owen 2.5-1.5B-Instruct 平均得分较低，为 32.8，在 3GPP-TSG 理解方面表现不佳 (8.05)，但在 TELE-QnA 方面表现尚可 (66.01)，这表明它在通用电信查询方面表现良好，但缺乏更深层次的技术理解。

**主要启示：** Llama 3 和 Qwen 模型是 OpenAI 模型的有竞争力的替代品，但它们在 3GPP 标准上的性能需要改进，才能完全适用于电信应用。

3. Mistral 和 Microsoft Phi-2 在电信任务中滞后

• Mistral-7B-Instruct（平均 27.82 分）在 3GPP-TSG（27.84 分）中表现尚可，但在 TELE-QnA（47.07 分）和 MATH-500（32.06 分）中显著落后。这表明它在处理结构化电信文档方面具有一定的能力，但在数学推理和电信专用问答方面存在困难。
• Microsoft Phi-2（平均 26.11 分）在所有类别中得分最低，尤其是在 MATH-500（10.8 分）和 Spider（8.15 分）中，这凸显了在推理和结构化数据库相关任务方面的显著弱点。

**主要启示：** Mistral-7B 和 Microsoft Phi-2 等较小模型展现出潜力，但尚未针对实际电信人工智能应用进行优化。它们的数学推理和电信知识需要改进才能进行实际部署。

4. 基准测试洞察与未来方向

现有模型的优势

• GPT-4 和 GPT-3.5-Turbo 仍然是表现最强的模型，尤其是在 TELE-QnA 和 MATH-500 中。
• Qwen 和 Llama 3 模型有望成为开源替代方案，但需要在处理电信标准和结构化数据方面进行改进。

需要改进的关键领域

• 3GPP 标准理解 (3GPP-TSG)：大多数模型，包括 GPT-4，在解析和理解电信技术文档方面存在困难。
• 电信数学建模 (MATH-500)：只有 GPT-4 和 GPT-3.5-Turbo 表现出强大的性能，而其他模型在高级电信计算方面表现不佳。
• 故障检测和日志解释 (FOLIO)：此类别得分较低表明需要更好地在实际网络事件日志上进行训练。

未来路线图：电信用例、能效和安全性

除了最初的四个数据集，GSMA 开放电信大语言模型基准正在不断发展，以应对实际电信挑战，确保人工智能模型在网络故障排除、能效、安全和运营商驱动的用例等关键行业优先事项上得到评估。

网络故障排除与优化

该基准将扩展到评估人工智能在预测、诊断和解决网络问题方面的作用，确保无缝连接和高效运营。

• 人工智能模型将测试其检测故障、分析连接问题和推荐实时修复的能力。
• 评估将包括人工智能如何与电信网络日志、OSS/BSS 系统和实时运营数据集成。
• 自动化故障排除是未来研究的一个关键领域，旨在减少停机时间并增强网络弹性。

能效与可持续人工智能

随着电信公司优先考虑可持续发展，该基准将引入人工智能能效评估，以指导环保人工智能的采用。

• 衡量计算功耗、碳足迹和人工智能模型的效率。
• 为电信公司提供选择符合成本和可持续发展目标的节能人工智能解决方案的框架。
• 支持 GSMA 的负责任人工智能成熟度路线图，确保电信领域的人工智能部署符合环境最佳实践。

安全与合规

确保人工智能安全、可信赖和符合法规是主要关注领域。人工智能模型将接受以下测试：

• 幻觉和错误信息，特别是在客户互动和网络决策方面。
• 法规遵从性自动化，确保人工智能驱动的电信政策符合当地和全球电信法规。
• 符合电信行业安全和道德标准，以实现负责任的人工智能部署。

运营商提交与行业协作

GSMA Open-Telco 团队正在积极征求正在电信领域部署生成式人工智能的运营商的意见。

• 电信公司可以提交需要基准测试和评估支持的实际人工智能用例。
• Open-Telco 团队将开发定制的方案和基准，以满足运营商特定的人工智能要求。

为什么开放基准对电信人工智能很重要

GSMA 开放电信大语言模型基准通过提供一个开放、标准化和协作的评估框架，在塑造电信人工智能的未来方面发挥着关键作用。与封闭的专有 AI 评估不同，开放基准可确保公平性、全行业采用和持续改进。

透明度

与专有评估不同，GSMA 的基准是开源的，并公开托管在 Hugging Face 上，任何人都可以访问、测试和验证人工智能模型。开放基准可促进信任和问责制，确保人工智能模型在清晰、可重现的条件下进行评估，而不是黑箱评估。

最佳实践

建立一个评估电信特定任务人工智能模型的通用行业框架，确保比较的一致性、公平性和意义。帮助电信运营商和供应商识别最适合实际应用的人工智能模型，从客户支持到网络自动化。

协作

鼓励移动网络运营商、人工智能供应商和研究人员参与，从而在电信人工智能开发中实现集体创新。开源贡献允许持续改进数据集、评估指标和模型，加速电信领域的人工智能进步。

参与和后续步骤

GSMA 开放电信大型语言模型基准依托行业协作而蓬勃发展。无论您是电信运营商、人工智能研究员还是技术提供商，您的贡献都能帮助塑造电信人工智能的未来。

如何参与？

**提交电信人工智能用例和数据集：** 拥有可改进电信人工智能基准测试的实际人工智能用例或数据集？请发送电子邮件至 aiusecase@gsma.com 贡献您的力量。

**加入开放电信基准测试社区：** 通过加入 Otellm Hugging Face 社区，参与讨论，获取最新的基准测试洞察，并与领先的电信公司、人工智能供应商和研究人员合作。

**后续步骤** 开放电信倡议将继续扩展基准，集成新的数据集、用例和评估指标。通过参与，您将有助于推动电信行业人工智能的标准化、透明化和高效采用。