Transformers 文档

🤗 Transformers 笔记本

Hugging Face's logo
加入 Hugging Face 社区

并获取增强型文档体验

开始使用

🤗 Transformers 笔记本

您可以在此处找到 Hugging Face 提供的官方笔记本列表。

此外,我们想在此列出社区创建的有趣内容。如果您编写了一些利用 🤗 Transformers 的笔记本,并希望在此列出,请提交一个 Pull Request,以便将其包含在社区笔记本中。

Hugging Face 的笔记本 🤗

文档笔记本

您可以将文档的任何页面作为 Colab 中的笔记本打开(这些页面上有一个按钮),但如果您需要它们,它们也会在此列出。

笔记本 描述
库的快速浏览 Transformers 中各种 API 的介绍 Open in Colab Open in AWS Studio
任务摘要 如何按任务运行 Transformers 库的模型 Open in Colab Open in AWS Studio
预处理数据 如何使用分词器来预处理您的数据 Open in Colab Open in AWS Studio
微调预训练模型 如何使用 Trainer 来微调预训练模型 Open in Colab Open in AWS Studio
分词器摘要 分词器算法之间的差异 Open in Colab Open in AWS Studio
多语言模型 如何使用库中的多语言模型 Open in Colab Open in AWS Studio

PyTorch 示例

自然语言处理

笔记本 描述
训练您的分词器 如何训练和使用您自己的分词器 Open in Colab Open in AWS Studio
训练您的语言模型 如何轻松开始使用 transformers Open in Colab Open in AWS Studio
如何在文本分类上微调模型 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 Open in Colab Open in AWS Studio
如何在语言建模上微调模型 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 Open in Colab Open in AWS Studio
如何在标记分类上微调模型 展示如何预处理数据并在标记分类任务(NER、PoS)上微调预训练模型。 Open in Colab Open in AWS Studio
如何在问答上微调模型 展示如何预处理数据并在 SQUAD 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在多选题上微调模型 展示如何预处理数据并在 SWAG 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在翻译上微调模型 展示如何预处理数据并在 WMT 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在摘要上微调模型 展示如何预处理数据并在 XSUM 上微调预训练模型。 Open in Colab Open in AWS Studio
如何从头开始训练语言模型 突出显示在自定义数据上有效训练 Transformer 模型的所有步骤 Open in Colab Open in AWS Studio
如何生成文本 如何使用不同的解码方法进行 transformers 的语言生成 Open in Colab Open in AWS Studio
如何生成文本(带约束) 如何通过用户提供的约束来指导语言生成 Open in Colab Open in AWS Studio
Reformer Reformer 如何突破语言建模的极限 Open in Colab Open in AWS Studio

计算机视觉

笔记本 描述
如何在图像分类上微调模型(Torchvision) 展示如何使用 Torchvision 预处理数据并在图像分类上微调任何预训练的视觉模型 Open in Colab Open in AWS Studio
如何在图像分类上微调模型(Albumentations) 展示如何使用 Albumentations 预处理数据并在图像分类上微调任何预训练的视觉模型 Open in Colab Open in AWS Studio
如何在图像分类上微调模型(Kornia) 展示如何使用 Kornia 预处理数据并在图像分类上微调任何预训练的视觉模型 Open in Colab Open in AWS Studio
如何使用 OWL-ViT 进行零样本目标检测 展示如何使用文本查询对图像进行零样本目标检测 Open in Colab Open in AWS Studio
如何微调图像字幕模型 展示如何对 BLIP 进行图像字幕微调,使其适用于自定义数据集 Open in Colab Open in AWS Studio
如何使用 Transformers 构建图像相似度系统 展示如何构建图像相似度系统 Open in Colab Open in AWS Studio
如何在语义分割上微调 SegFormer 模型 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 Open in Colab Open in AWS Studio
如何在视频分类上微调 VideoMAE 模型 展示如何预处理数据并在视频分类上微调预训练的 VideoMAE 模型 Open in Colab Open in AWS Studio

音频

笔记本 描述
如何在英语中微调语音识别模型 展示如何预处理数据并在 TIMIT 上微调预训练的语音模型 Open in Colab Open in AWS Studio
如何在任何语言中微调语音识别模型 展示如何预处理数据并在 Common Voice 上微调多语言预训练的语音模型 Open in Colab Open in AWS Studio
如何在音频分类上微调模型 展示如何预处理数据并在关键词识别上微调预训练的语音模型 Open in Colab Open in AWS Studio

生物序列

笔记本 描述
如何微调预训练的蛋白质模型 了解如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型 Open in Colab Open in AWS Studio
如何生成蛋白质折叠 了解如何从蛋白质序列到完整的蛋白质模型和 PDB 文件 Open in Colab Open in AWS Studio
如何微调核苷酸 Transformer 模型 了解如何对 DNA 进行分词并微调大型预训练的 DNA “语言”模型 Open in Colab Open in AWS Studio
使用 LoRA 微调核苷酸 Transformer 模型 以内存高效的方式训练更大的 DNA 模型 Open in Colab Open in AWS Studio

其他模态

笔记本 描述
概率时间序列预测 了解如何在自定义数据集上训练时间序列转换器 Open in Colab Open in AWS Studio

实用笔记本

笔记本 描述
如何将模型导出到 ONNX 重点介绍如何通过 ONNX 导出和运行推理工作负载 Open in Colab Open in AWS Studio
如何使用基准测试 如何使用转换器对模型进行基准测试 Open in Colab Open in AWS Studio

TensorFlow 示例

自然语言处理

笔记本 描述
训练您的分词器 如何训练和使用您自己的分词器 Open in Colab Open in AWS Studio
训练您的语言模型 如何轻松开始使用 transformers Open in Colab Open in AWS Studio
如何在文本分类上微调模型 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 Open in Colab Open in AWS Studio
如何在语言建模上微调模型 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 Open in Colab Open in AWS Studio
如何在标记分类上微调模型 展示如何预处理数据并在标记分类任务(NER、PoS)上微调预训练模型。 Open in Colab Open in AWS Studio
如何在问答上微调模型 展示如何预处理数据并在 SQUAD 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在多选题上微调模型 展示如何预处理数据并在 SWAG 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在翻译上微调模型 展示如何预处理数据并在 WMT 上微调预训练模型。 Open in Colab Open in AWS Studio
如何在摘要上微调模型 展示如何预处理数据并在 XSUM 上微调预训练模型。 Open in Colab Open in AWS Studio

计算机视觉

笔记本 描述
如何对图像分类模型进行微调 展示如何预处理数据并在图像分类上对任何预训练的视觉模型进行微调 Open in Colab Open in AWS Studio
如何在语义分割上微调 SegFormer 模型 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 Open in Colab Open in AWS Studio

生物序列

笔记本 描述
如何微调预训练的蛋白质模型 了解如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型 Open in Colab Open in AWS Studio

实用笔记本

笔记本 描述
如何在 TPU 上训练 TF/Keras 模型 了解如何在 Google 的 TPU 硬件上高速训练 Open in Colab Open in AWS Studio

Optimum 笔记本

🤗 Optimum 是 🤗 Transformers 的扩展,提供了一组性能优化工具,使模型能够在目标硬件上以最高效率进行训练和运行。

笔记本 描述
如何使用 ONNX Runtime 对文本分类模型进行量化 展示如何在任何 GLUE 任务中使用 ONNX Runtime 对模型应用静态和动态量化。 Open in Colab Open in AWS Studio
如何使用 Intel Neural Compressor 对文本分类模型进行量化 展示如何在任何 GLUE 任务中使用 Intel Neural Compressor (INC) 对模型应用静态、动态和感知训练量化。 Open in Colab Open in AWS Studio
如何使用 ONNX Runtime 对文本分类模型进行微调 展示如何预处理数据并在任何 GLUE 任务中使用 ONNX Runtime 对模型进行微调。 Open in Colab Open in AWS Studio
如何使用 ONNX Runtime 对摘要模型进行微调 展示如何预处理数据并在 XSUM 上使用 ONNX Runtime 对模型进行微调。 Open in Colab Open in AWS Studio

社区笔记本:

社区开发的更多笔记本电脑可供使用 here

< > 更新 在 GitHub 上