Transformers

Transformers 是一个用于推理和训练的预训练自然语言处理、计算机视觉、音频和多模态模型的库。使用 Transformers 在您的数据上训练模型，构建推理应用程序，并使用大型语言模型生成文本。

立即探索 Hugging Face Hub，找到模型并使用 Transformers 帮助您立即开始。

特性

Transformers 提供了使用最先进的预训练模型进行推理或训练所需的一切。一些主要特性包括

• Pipeline：简单且优化的推理类，适用于许多机器学习任务，如文本生成、图像分割、自动语音识别、文档问答等。
• Trainer：一个全面的训练器，支持混合精度、torch.compile 和 FlashAttention 等功能，用于 PyTorch 模型的训练和分布式训练。
• generate：使用大型语言模型 (LLM) 和视觉语言模型 (VLM) 进行快速文本生成，包括对流式传输和多种解码策略的支持。

设计

Transformers 专为开发人员、机器学习工程师和研究人员而设计。其主要设计原则是

1. 快速且易于使用：每个模型仅由三个主要类（配置、模型和预处理器）实现，并且可以使用 Pipeline 或 Trainer 快速用于推理或训练。
2. 预训练模型：通过使用预训练模型而不是训练全新的模型，减少您的碳足迹、计算成本和时间。每个预训练模型都尽可能接近原始模型进行复现，并提供最先进的性能。

加入我们的 Hugging Face Hub、Discord 或 论坛，共同协作和构建模型、数据集和应用程序。

< > 在 GitHub 上更新