Transformers

Transformers 是最先进的机器学习模型（包括文本、计算机视觉、音频、视频和多模态模型）的推理和训练的模型定义框架。

它集中了模型定义，以便在整个生态系统中就该定义达成一致。transformers 是跨框架的枢纽：如果一个模型定义得到支持，它将与大多数训练框架（Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch-Lightning 等）、推理引擎（vLLM、SGLang、TGI 等）以及利用 transformers 中的模型定义的相邻建模库（llama.cpp、mlx 等）兼容。

我们承诺通过使模型定义简单、可定制且高效来支持新的最先进模型并实现其普及化。

Hugging Face Hub 上有超过 100 万个 Transformers 模型检查点可供您使用。

立即探索 Hub，找到一个模型并使用 Transformers 帮助您立即上手。

探索 模型时间线，发现 Transformers 中最新的文本、视觉、音频和多模态模型架构。

功能

Transformers 提供了使用最先进的预训练模型进行推理或训练所需的一切。主要功能包括：

• Pipeline：适用于文本生成、图像分割、自动语音识别、文档问答等多种机器学习任务的简单高效的推理类。
• Trainer：一个全面的训练器，支持混合精度、torch.compile 和 FlashAttention 等功能，用于 PyTorch 模型的训练和分布式训练。
• generate：支持流式传输和多种解码策略，用于快速生成大型语言模型 (LLM) 和视觉语言模型 (VLM) 的文本。

设计

阅读我们的 理念，了解更多关于 Transformers 的设计原则。

Transformers 是为开发人员、机器学习工程师和研究人员设计的。其主要设计原则包括：

1. 快速易用：每个模型仅由三个主要类（配置、模型和预处理器）实现，并可通过 Pipeline 或 Trainer 快速用于推理或训练。
2. 预训练模型：通过使用预训练模型而不是从头开始训练来减少碳足迹、计算成本和时间。每个预训练模型都尽可能精确地复现原始模型，并提供最先进的性能。

学习

如果您是 Transformers 的新手或想了解更多关于 Transformer 模型的信息，我们推荐从 LLM 课程开始。这门综合课程涵盖了从 Transformer 模型工作原理的基础知识到各种任务的实际应用。您将学习完整的流程，从策划高质量数据集到微调大型语言模型和实现推理能力。课程包含理论和实践练习，让您在学习过程中建立扎实的 Transformer 模型基础知识。

在 GitHub 上更新