🤗 Transformers

针对 PyTorch、TensorFlow 和 JAX 的最先进机器学习。

🤗 Transformers 提供 API 和工具，可以轻松下载和训练最先进的预训练模型。使用预训练模型可以降低您的计算成本和碳足迹，并节省从头开始训练模型所需的时间和资源。这些模型支持不同模式下的常见任务，例如

📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。
🖼️ 计算机视觉：图像分类、目标检测和分割。
🗣️ 音频：自动语音识别和音频分类。
🐙 多模态：表格问答、光学字符识别、扫描文档信息提取、视频分类和视觉问答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。这提供了在模型生命周期的每个阶段使用不同框架的灵活性；使用一种框架在三行代码中训练模型，然后在另一种框架中加载它以进行推理。模型还可以导出为 ONNX 和 TorchScript 等格式，以便在生产环境中部署。

今天就加入不断壮大的社区，加入 Hub、论坛 或 Discord！

如果您需要来自 Hugging Face 团队的自定义支持

目录

文档分为五个部分

• 入门提供了库的快速概述和安装说明，帮助您快速上手。

• 教程非常适合初学者。本节将帮助您掌握使用库所需的必要技能。

• 操作指南向您展示如何完成特定目标，例如微调预训练模型以进行语言建模，或如何编写和共享自定义模型。

• 概念指南更深入地讨论并解释了模型、任务和 🤗 Transformers 设计理念背后的基本概念和想法。

• API 描述所有类和函数

  • 主要类详细介绍了最重要的类，例如配置、模型、分词器和管道。
  • 模型详细介绍了库中实现的每个模型相关的类和函数。
  • 内部辅助程序详细介绍了内部使用的实用程序类和函数。

支持的模型和框架

下表显示了库目前对每个模型的支持情况，包括它们是否具有 Python 分词器（称为“slow”）。一个由 🤗 Tokenizers 库支持的“fast”分词器，以及它们是否在 Jax（通过 Flax）、PyTorch 和/或 TensorFlow 中受到支持。

模型	PyTorch 支持	TensorFlow 支持	Flax 支持
ALBERT	✅	✅	✅
ALIGN	✅	❌	❌
AltCLIP	✅	❌	❌
音频频谱图转换器	✅	❌	❌
Autoformer	✅	❌	❌
Bark	✅	❌	❌
BART	✅	✅	✅
BARThez	✅	✅	✅
BARTpho	✅	✅	✅
BEiT	✅	❌	✅
BERT	✅	✅	✅
Bert 生成	✅	❌	❌
BertJapanese	✅	✅	✅
BERTweet	✅	✅	✅
BigBird	✅	❌	✅
BigBird-Pegasus	✅	❌	❌
BioGpt	✅	❌	❌
BiT	✅	❌	❌
Blenderbot	✅	✅	✅
BlenderbotSmall	✅	✅	✅
BLIP	✅	✅	❌
BLIP-2	✅	❌	❌
BLOOM	✅	❌	✅
BORT	✅	✅	✅
BridgeTower	✅	❌	❌
BROS	✅	❌	❌
ByT5	✅	✅	✅
CamemBERT	✅	✅	❌
CANINE	✅	❌	❌
Chameleon	✅	❌	❌
Chinese-CLIP	✅	❌	❌
CLAP	✅	❌	❌
CLIP	✅	✅	✅
CLIPSeg	✅	❌	❌
CLVP	✅	❌	❌
CodeGen	✅	❌	❌
CodeLlama	✅	❌	✅
Cohere	✅	❌	❌
条件 DETR	✅	❌	❌
ConvBERT	✅	✅	❌
ConvNeXT	✅	✅	❌
ConvNeXTV2	✅	✅	❌
CPM	✅	✅	✅
CPM-Ant	✅	❌	❌
CTRL	✅	✅	❌
CvT	✅	✅	❌
DAC	✅	❌	❌
Data2VecAudio	✅	❌	❌
Data2VecText	✅	❌	❌
Data2VecVision	✅	✅	❌
DBRX	✅	❌	❌
DeBERTa	✅	✅	❌
DeBERTa-v2	✅	✅	❌
决策转换器	✅	❌	❌
可变形 DETR	✅	❌	❌
DeiT	✅	✅	❌
DePlot	✅	❌	❌
深度任何事	✅	❌	❌
DETA	✅	❌	❌
DETR	✅	❌	❌
DialoGPT	✅	✅	✅
DiNAT	✅	❌	❌
DINOv2	✅	❌	✅
DistilBERT	✅	✅	✅
DiT	✅	❌	✅
DonutSwin	✅	❌	❌
DPR	✅	✅	❌
DPT	✅	❌	❌
EfficientFormer	✅	✅	❌
EfficientNet	✅	❌	❌
ELECTRA	✅	✅	✅
EnCodec	✅	❌	❌
编码器解码器	✅	✅	✅
ERNIE	✅	❌	❌
ErnieM	✅	❌	❌
ESM	✅	✅	❌
FairSeq 机器翻译	✅	❌	❌
Falcon	✅	❌	❌
FalconMamba	✅	❌	❌
FastSpeech2Conformer	✅	❌	❌
FLAN-T5	✅	✅	✅
FLAN-UL2	✅	✅	✅
FlauBERT	✅	✅	❌
FLAVA	✅	❌	❌
FNet	✅	❌	❌
FocalNet	✅	❌	❌
漏斗转换器	✅	✅	❌
Fuyu	✅	❌	❌
Gemma	✅	❌	✅
Gemma2	✅	❌	❌
GIT	✅	❌	❌
GLPN	✅	❌	❌
GPT Neo	✅	❌	✅
GPT NeoX	✅	❌	❌
GPT NeoX Japanese	✅	❌	❌
GPT-J	✅	✅	✅
GPT-Sw3	✅	✅	✅
GPTBigCode	✅	❌	❌
GPTSAN-japanese	✅	❌	❌
Granite	✅	❌	❌
GraniteMoeMoe	✅	❌	❌
Graphormer	✅	❌	❌
接地 DINO	✅	❌	❌
GroupViT	✅	✅	❌
HerBERT	✅	✅	✅
Hiera	✅	❌	❌
Hubert	✅	✅	❌
I-BERT	✅	❌	❌
IDEFICS	✅	✅	❌
Idefics2	✅	❌	❌
ImageGPT	✅	❌	❌
Informer	✅	❌	❌
InstructBLIP	✅	❌	❌
InstructBlipVideo	✅	❌	❌
Jamba	✅	❌	❌
JetMoe	✅	❌	❌
Jukebox	✅	❌	❌
KOSMOS-2	✅	❌	❌
LayoutLM	✅	✅	❌
LayoutLMv2	✅	❌	❌
LayoutLMv3	✅	✅	❌
LayoutXLM	✅	❌	❌
LED	✅	✅	❌
LeViT	✅	❌	❌
LiLT	✅	❌	❌
LLaMA	✅	❌	✅
Llama2	✅	❌	✅
Llama3	✅	❌	✅
LLaVa	✅	❌	❌
LLaVA-NeXT	✅	❌	❌
LLaVA-NeXT-Video	✅	❌	❌
LLaVA-Onevision	✅	❌	❌
Longformer	✅	✅	❌
LongT5	✅	❌	✅
LUKE	✅	❌	❌
LXMERT	✅	✅	❌
M-CTC-T	✅	❌	❌
M2M100	✅	❌	❌
MADLAD-400	✅	✅	✅
Mamba	✅	❌	❌
mamba2	✅	❌	❌
Marian	✅	✅	✅
MarkupLM	✅	❌	❌
Mask2Former	✅	❌	❌
MaskFormer	✅	❌	❌
MatCha	✅	❌	❌
mBART	✅	✅	✅
mBART-50	✅	✅	✅
MEGA	✅	❌	❌
Megatron-BERT	✅	❌	❌
Megatron-GPT2	✅	✅	✅
MGP-STR	✅	❌	❌
Mimi	✅	❌	❌
Mistral	✅	✅	✅
Mixtral	✅	❌	❌
Mllama	✅	❌	❌
mLUKE	✅	❌	❌
MMS	✅	✅	✅
MobileBERT	✅	✅	❌
MobileNetV1	✅	❌	❌
MobileNetV2	✅	❌	❌
MobileViT	✅	✅	❌
MobileViTV2	✅	❌	❌
MPNet	✅	✅	❌
MPT	✅	❌	❌
MRA	✅	❌	❌
MT5	✅	✅	✅
MusicGen	✅	❌	❌
MusicGen Melody	✅	❌	❌
MVP	✅	❌	❌
NAT	✅	❌	❌
Nemotron	✅	❌	❌
Nezha	✅	❌	❌
NLLB	✅	❌	❌
NLLB-MOE	✅	❌	❌
Nougat	✅	✅	✅
Nyströmformer	✅	❌	❌
OLMo	✅	❌	❌
OLMoE	✅	❌	❌
OmDet-Turbo	✅	❌	❌
OneFormer	✅	❌	❌
OpenAI GPT	✅	✅	❌
OpenAI GPT-2	✅	✅	✅
OpenLlama	✅	❌	❌
OPT	✅	✅	✅
OWL-ViT	✅	❌	❌
OWLv2	✅	❌	❌
PaliGemma	✅	❌	❌
PatchTSMixer	✅	❌	❌
PatchTST	✅	❌	❌
Pegasus	✅	✅	✅
PEGASUS-X	✅	❌	❌
Perceiver	✅	❌	❌
Persimmon	✅	❌	❌
Phi	✅	❌	❌
Phi3	✅	❌	❌
PhoBERT	✅	✅	✅
Pix2Struct	✅	❌	❌
Pixtral	✅	❌	❌
PLBart	✅	❌	❌
PoolFormer	✅	❌	❌
Pop2Piano	✅	❌	❌
ProphetNet	✅	❌	❌
PVT	✅	❌	❌
PVTv2	✅	❌	❌
QDQBert	✅	❌	❌
Qwen2	✅	❌	❌
Qwen2Audio	✅	❌	❌
Qwen2MoE	✅	❌	❌
Qwen2VL	✅	❌	❌
RAG	✅	✅	❌
REALM	✅	❌	❌
循环 Gemma	✅	❌	❌
Reformer	✅	❌	❌
RegNet	✅	✅	✅
RemBERT	✅	✅	❌
ResNet	✅	✅	✅
RetriBERT	✅	❌	❌
RoBERTa	✅	✅	✅
RoBERTa-PreLayerNorm	✅	✅	✅
RoCBert	✅	❌	❌
RoFormer	✅	✅	✅
RT-DETR	✅	❌	❌
RT-DETR-ResNet	✅	❌	❌
RWKV	✅	❌	❌
SAM	✅	✅	❌
SeamlessM4T	✅	❌	❌
SeamlessM4Tv2	✅	❌	❌
SegFormer	✅	✅	❌
SegGPT	✅	❌	❌
SEW	✅	❌	❌
SEW-D	✅	❌	❌
SigLIP	✅	❌	❌
语音编码器解码器	✅	❌	✅
语音转文本	✅	✅	❌
SpeechT5	✅	❌	❌
Splinter	✅	❌	❌
SqueezeBERT	✅	❌	❌
StableLm	✅	❌	❌
Starcoder2	✅	❌	❌
SuperPoint	✅	❌	❌
SwiftFormer	✅	✅	❌
Swin 变换器	✅	✅	❌
Swin 变换器 V2	✅	❌	❌
Swin2SR	✅	❌	❌
SwitchTransformers	✅	❌	❌
T5	✅	✅	✅
T5v1.1	✅	✅	✅
表格变换器	✅	❌	❌
TAPAS	✅	✅	❌
TAPEX	✅	✅	✅
时间序列变换器	✅	❌	❌
TimeSformer	✅	❌	❌
轨迹变换器	✅	❌	❌
Transformer-XL	✅	✅	❌
TrOCR	✅	❌	❌
TVLT	✅	❌	❌
TVP	✅	❌	❌
UDOP	✅	❌	❌
UL2	✅	✅	✅
UMT5	✅	❌	❌
UniSpeech	✅	❌	❌
UniSpeechSat	✅	❌	❌
UnivNet	✅	❌	❌
UPerNet	✅	❌	❌
VAN	✅	❌	❌
VideoLlava	✅	❌	❌
VideoMAE	✅	❌	❌
ViLT	✅	❌	❌
VipLlava	✅	❌	❌
视觉编码器解码器	✅	✅	✅
视觉文本双编码器	✅	✅	✅
VisualBERT	✅	❌	❌
ViT	✅	✅	✅
ViT 混合	✅	❌	❌
VitDet	✅	❌	❌
ViTMAE	✅	✅	❌
ViTMatte	✅	❌	❌
ViTMSN	✅	❌	❌
VITS	✅	❌	❌
ViViT	✅	❌	❌
Wav2Vec2	✅	✅	✅
Wav2Vec2-BERT	✅	❌	❌
Wav2Vec2-Conformer	✅	❌	❌
Wav2Vec2Phoneme	✅	✅	✅
WavLM	✅	❌	❌
Whisper	✅	✅	✅
X-CLIP	✅	❌	❌
X-MOD	✅	❌	❌
XGLM	✅	✅	✅
XLM	✅	✅	❌
XLM-ProphetNet	✅	❌	❌
XLM-RoBERTa	✅	✅	✅
XLM-RoBERTa-XL	✅	❌	❌
XLM-V	✅	✅	✅
XLNet	✅	✅	❌
XLS-R	✅	✅	✅
XLSR-Wav2Vec2	✅	✅	✅
YOLOS	✅	❌	❌
YOSO	✅	❌	❌
ZoeDepth	✅	❌	❌

< > 在 GitHub 上更新