Transformers

Transformers 为文本、计算机视觉、音频、视频以及多模态领域的顶尖机器学习模型提供了模型定义框架，同时支持推理和训练。

它将模型定义集中化，从而使该定义在整个生态系统中达成一致。transformers 是跨框架的核心：一旦某个模型定义得到支持，它将与大多数训练框架（Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …）、推理引擎（vLLM, SGLang, TGI, …）以及利用 transformers 模型定义的相邻建模库（llama.cpp, mlx, …）兼容。

我们承诺通过提供简单、可定制且高效的模型定义，来帮助支持新的顶尖模型并使其使用普及化。

在 Hugging Face Hub 上有超过 100 万个可供您使用的 Transformers 模型权重 (model checkpoints)。

立即探索 Hub 寻找合适的模型，并使用 Transformers 快速上手。

探索模型时间线 (Models Timeline)，了解 Transformers 中最新的文本、视觉、音频和多模态模型架构。

功能

Transformers 为使用顶尖预训练模型进行推理或训练提供了所需的一切。主要功能包括：

Pipeline：一个简单且经过优化的推理类，适用于多种机器学习任务，如文本生成、图像分割、自动语音识别、文档问答等。
Trainer：一个全面的训练器，支持混合精度、torch.compile 和 FlashAttention 等功能，用于 PyTorch 模型的训练和分布式训练。
generate：使用大语言模型 (LLMs) 和视觉语言模型 (VLMs) 进行快速文本生成，支持流式传输和多种解码策略。

设计

阅读我们的哲学 (Philosophy) 以详细了解 Transformers 的设计原则。

Transformers 是为开发者、机器学习工程师和研究人员设计的。其主要设计原则是：

快速且易于使用：每个模型仅由三个主要类（配置、模型和预处理器）实现，并可以通过 Pipeline 或 Trainer 快速用于推理或训练。
预训练模型：通过使用预训练模型而非从头开始训练新模型，来降低碳足迹、计算成本和时间。每个预训练模型都尽可能地还原原模型，并提供顶尖的性能。

学习

如果您是 Transformers 的初学者，或想了解更多关于 Transformer 模型的信息，我们建议从 LLM 课程开始。这门综合课程涵盖了从 Transformer 模型工作原理的基础知识到各种任务的实际应用。您将学习完整的工作流程，从策划高质量数据集到微调大语言模型以及实现推理能力。课程包含理论和实践练习，在学习过程中帮您构建关于 Transformer 模型的坚实基础知识。

在 GitHub 上更新