Transformers 文档
🤗 Transformers 笔记本
加入 Hugging Face 社区
并获取增强的文档体验
开始使用
🤗 Transformers 笔记本
您可以在这里找到 Hugging Face 提供的官方笔记本列表。
此外,我们希望在此列出社区创建的有趣内容。如果您编写了一些利用 🤗 Transformers 的笔记本,并希望在此处列出,请打开 Pull Request,以便将其包含在社区笔记本下。
Hugging Face 的笔记本 🤗
文档笔记本
您可以将文档的任何页面作为 Colab 中的笔记本打开(在这些页面上直接有一个按钮),但如果您需要,它们也在此处列出
笔记本 | 描述 | ||
---|---|---|---|
库的快速导览 | Transformers 中各种 API 的介绍 | ||
任务摘要 | 如何逐个任务运行 Transformers 库的模型 | ||
预处理数据 | 如何使用分词器预处理您的数据 | ||
微调预训练模型 | 如何使用 Trainer 微调预训练模型 | ||
分词器摘要 | 分词器算法之间的差异 | ||
多语言模型 | 如何使用库的多语言模型 |
PyTorch 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
训练您的分词器 | 如何训练和使用您自己的分词器 | ||
训练您的语言模型 | 如何轻松开始使用 transformers | ||
如何微调模型进行文本分类 | 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 | ||
如何微调模型进行语言建模 | 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 | ||
如何微调模型进行 token 分类 | 展示如何预处理数据并在 token 分类任务 (NER, PoS) 上微调预训练模型。 | ||
如何微调模型进行问答 | 展示如何预处理数据并在 SQUAD 上微调预训练模型。 | ||
如何微调模型进行多项选择 | 展示如何预处理数据并在 SWAG 上微调预训练模型。 | ||
如何微调模型进行翻译 | 展示如何预处理数据并在 WMT 上微调预训练模型。 | ||
如何微调模型进行摘要 | 展示如何预处理数据并在 XSUM 上微调预训练模型。 | ||
如何从头开始训练语言模型 | 突出显示在自定义数据上有效训练 Transformer 模型的所有步骤 | ||
如何生成文本 | 如何使用不同的解码方法通过 transformers 进行语言生成 | ||
如何生成文本(带有约束) | 如何使用用户提供的约束来指导语言生成 | ||
Reformer | Reformer 如何突破语言建模的极限 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
如何微调模型进行图像分类 (Torchvision) | 展示如何使用 Torchvision 预处理数据并在图像分类上微调任何预训练的 Vision 模型 | ||
如何微调模型进行图像分类 (Albumentations) | 展示如何使用 Albumentations 预处理数据并在图像分类上微调任何预训练的 Vision 模型 | ||
如何微调模型进行图像分类 (Kornia) | 展示如何使用 Kornia 预处理数据并在图像分类上微调任何预训练的 Vision 模型 | ||
如何使用 OWL-ViT 执行零样本对象检测 | 展示如何使用文本查询在图像上执行零样本对象检测 | ||
如何微调图像字幕模型 | 展示如何微调 BLIP 以在自定义数据集上进行图像字幕 | ||
如何使用 Transformers 构建图像相似度系统 | 展示如何构建图像相似度系统 | ||
如何微调 SegFormer 模型进行语义分割 | 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 | ||
如何微调 VideoMAE 模型进行视频分类 | 展示如何预处理数据并在视频分类上微调预训练的 VideoMAE 模型 |
音频
笔记本 | 描述 | ||
---|---|---|---|
如何微调英语语音识别模型 | 展示如何预处理数据并在 TIMIT 上微调预训练的 Speech 模型 | ||
如何微调任何语言的语音识别模型 | 展示如何预处理数据并在 Common Voice 上微调多语言预训练的语音模型 | ||
如何微调模型进行音频分类 | 展示如何预处理数据并在关键词识别上微调预训练的 Speech 模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何标记蛋白质并微调大型预训练的蛋白质“语言”模型 | ||
如何生成蛋白质折叠 | 了解如何从蛋白质序列转变为完整的蛋白质模型和 PDB 文件 | ||
如何微调核苷酸 Transformer 模型 | 了解如何标记 DNA 并微调大型预训练的 DNA“语言”模型 | ||
使用 LoRA 微调核苷酸 Transformer 模型 | 以内存高效的方式训练更大的 DNA 模型 |
其他模态
笔记本 | 描述 | ||
---|---|---|---|
概率时间序列预测 | 了解如何在自定义数据集上训练时间序列 Transformer |
实用工具笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何将模型导出到 ONNX | 突出显示如何通过 ONNX 导出和运行推理工作负载 |
TensorFlow 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
训练您的分词器 | 如何训练和使用您自己的分词器 | ||
训练您的语言模型 | 如何轻松开始使用 transformers | ||
如何微调模型进行文本分类 | 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 | ||
如何微调模型进行语言建模 | 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 | ||
如何微调模型进行 token 分类 | 展示如何预处理数据并在 token 分类任务 (NER, PoS) 上微调预训练模型。 | ||
如何微调模型进行问答 | 展示如何预处理数据并在 SQUAD 上微调预训练模型。 | ||
如何微调模型进行多项选择 | 展示如何预处理数据并在 SWAG 上微调预训练模型。 | ||
如何微调模型进行翻译 | 展示如何预处理数据并在 WMT 上微调预训练模型。 | ||
如何微调模型进行摘要 | 展示如何预处理数据并在 XSUM 上微调预训练模型。 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
如何微调模型进行图像分类 | 展示如何预处理数据并在图像分类上微调任何预训练的 Vision 模型 | ||
如何微调 SegFormer 模型进行语义分割 | 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何标记蛋白质并微调大型预训练的蛋白质“语言”模型 |
实用工具笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何在 TPU 上训练 TF/Keras 模型 | 了解如何在 Google 的 TPU 硬件上高速训练 |
Optimum 笔记本
🤗 Optimum 是 🤗 Transformers 的扩展,提供一套性能优化工具,可以最大限度地提高在目标硬件上训练和运行模型的效率。
笔记本 | 描述 | ||
---|---|---|---|
如何使用 ONNX Runtime 量化模型进行文本分类 | 展示如何使用 ONNX Runtime 对任何 GLUE 任务的模型应用静态和动态量化。 | ||
如何使用 ONNX Runtime 微调模型进行文本分类 | 展示如何预处理数据并使用 ONNX Runtime 在任何 GLUE 任务上微调模型。 | ||
如何使用 ONNX Runtime 微调模型进行摘要 | 展示如何预处理数据并使用 ONNX Runtime 在 XSUM 上微调模型。 |
社区笔记本:
社区开发的更多笔记本可在此处获得。
< > 在 GitHub 上更新