MiniMax-01 现已开源：为 AI Agent 时代扩展闪电注意力机制

社区文章发布于 2025 年 1 月 15 日

今天，MiniMax 发布并开源了全新的 MiniMax-01 系列模型，其中包括两个模型：基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。

报告链接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

创新型闪电注意力架构，模型性能顶级

在 MiniMax-01 系列中，我们进行了一项大胆的创新：首次大规模实现了新型闪电注意力机制，为传统 Transformer 架构提供了一种新的替代方案。该模型拥有惊人的 4560 亿参数，每次推理激活 459 亿参数。其综合性能与全球领先模型不相上下，同时能够高效处理全球最长的上下文长度，高达 400 万个 token——是其他领先模型的 20 到 32 倍。

超长上下文，引领 AI Agent 时代

我们相信，2025 年将是 AI Agent 快速发展的一年。无论是单 Agent 系统中对持续记忆的需求，还是多 Agent 系统中广泛的 Agent 间通信，越来越长的上下文都是必不可少的。通过这个模型，我们迈出了第一步，旨在利用这种架构持续构建复杂 Agent 所需的基础能力。

持续创新的终极价值

得益于我们的架构创新、效率优化、集成集群训练和推理设计，以及基础设施内并发计算能力的广泛复用，我们能够以业内最具竞争力的价格提供文本和多模态理解 API。我们的标准定价为每百万输入 token 0.2 美元，每百万输出 token 1.1 美元。我们邀请大家在 MiniMax 开放平台上体验和使用我们的服务。

MiniMax API 平台：https://www.minimaxi.com/en/platform

MiniMax-01 系列模型已开源，并将持续定期更新。可通过 https://github.com/MiniMax-AI 访问。

基于主流的文本和多模态理解基准测试，如下图所示，我们已达到最先进模型的性能。如图 (c) 所示，随着输入长度的增加，MiniMax-Text-01 模型性能下降最少。

得益于我们的架构创新，我们的模型在处理长输入时表现出卓越的效率，接近线性复杂度。与其他全球顶级模型的比较如下：

我们采用的结构如下：每 8 层中，7 层基于线性注意力机制的闪电注意力，1 层采用传统的 SoftMax 注意力。

这标志着业界首次将线性注意力机制扩展到商业级模型的水平。我们从缩放法则、与专家混合（MoE）的集成、结构设计、训练优化和推理优化等方面进行了全面考虑。由于这是业界首次如此大规模地主要依赖线性注意力机制构建模型，我们几乎重建了训练和推理系统。这包括更高效的 MoE All-to-all 通信优化、更长序列的优化以及推理层面线性注意力层的高效内核实现。

在大多数学术基准测试中，我们取得了与国际顶级模型相媲美的结果。