🤗 Transformers 笔记本
您可以在此处找到 Hugging Face 提供的官方笔记本列表。
此外,我们想在此列出社区创建的有趣内容。如果您编写了一些利用 🤗 Transformers 的笔记本,并希望在此列出,请提交一个 Pull Request,以便将其包含在社区笔记本中。
Hugging Face 的笔记本 🤗
文档笔记本
您可以将文档的任何页面作为 Colab 中的笔记本打开(这些页面上有一个按钮),但如果您需要它们,它们也会在此列出。
笔记本 | 描述 | ||
---|---|---|---|
库的快速浏览 | Transformers 中各种 API 的介绍 | ||
任务摘要 | 如何按任务运行 Transformers 库的模型 | ||
预处理数据 | 如何使用分词器来预处理您的数据 | ||
微调预训练模型 | 如何使用 Trainer 来微调预训练模型 | ||
分词器摘要 | 分词器算法之间的差异 | ||
多语言模型 | 如何使用库中的多语言模型 |
PyTorch 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
训练您的分词器 | 如何训练和使用您自己的分词器 | ||
训练您的语言模型 | 如何轻松开始使用 transformers | ||
如何在文本分类上微调模型 | 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 | ||
如何在语言建模上微调模型 | 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 | ||
如何在标记分类上微调模型 | 展示如何预处理数据并在标记分类任务(NER、PoS)上微调预训练模型。 | ||
如何在问答上微调模型 | 展示如何预处理数据并在 SQUAD 上微调预训练模型。 | ||
如何在多选题上微调模型 | 展示如何预处理数据并在 SWAG 上微调预训练模型。 | ||
如何在翻译上微调模型 | 展示如何预处理数据并在 WMT 上微调预训练模型。 | ||
如何在摘要上微调模型 | 展示如何预处理数据并在 XSUM 上微调预训练模型。 | ||
如何从头开始训练语言模型 | 突出显示在自定义数据上有效训练 Transformer 模型的所有步骤 | ||
如何生成文本 | 如何使用不同的解码方法进行 transformers 的语言生成 | ||
如何生成文本(带约束) | 如何通过用户提供的约束来指导语言生成 | ||
Reformer | Reformer 如何突破语言建模的极限 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
如何在图像分类上微调模型(Torchvision) | 展示如何使用 Torchvision 预处理数据并在图像分类上微调任何预训练的视觉模型 | ||
如何在图像分类上微调模型(Albumentations) | 展示如何使用 Albumentations 预处理数据并在图像分类上微调任何预训练的视觉模型 | ||
如何在图像分类上微调模型(Kornia) | 展示如何使用 Kornia 预处理数据并在图像分类上微调任何预训练的视觉模型 | ||
如何使用 OWL-ViT 进行零样本目标检测 | 展示如何使用文本查询对图像进行零样本目标检测 | ||
如何微调图像字幕模型 | 展示如何对 BLIP 进行图像字幕微调,使其适用于自定义数据集 | ||
如何使用 Transformers 构建图像相似度系统 | 展示如何构建图像相似度系统 | ||
如何在语义分割上微调 SegFormer 模型 | 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 | ||
如何在视频分类上微调 VideoMAE 模型 | 展示如何预处理数据并在视频分类上微调预训练的 VideoMAE 模型 |
音频
笔记本 | 描述 | ||
---|---|---|---|
如何在英语中微调语音识别模型 | 展示如何预处理数据并在 TIMIT 上微调预训练的语音模型 | ||
如何在任何语言中微调语音识别模型 | 展示如何预处理数据并在 Common Voice 上微调多语言预训练的语音模型 | ||
如何在音频分类上微调模型 | 展示如何预处理数据并在关键词识别上微调预训练的语音模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型 | ||
如何生成蛋白质折叠 | 了解如何从蛋白质序列到完整的蛋白质模型和 PDB 文件 | ||
如何微调核苷酸 Transformer 模型 | 了解如何对 DNA 进行分词并微调大型预训练的 DNA “语言”模型 | ||
使用 LoRA 微调核苷酸 Transformer 模型 | 以内存高效的方式训练更大的 DNA 模型 |
其他模态
笔记本 | 描述 | ||
---|---|---|---|
概率时间序列预测 | 了解如何在自定义数据集上训练时间序列转换器 |
实用笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何将模型导出到 ONNX | 重点介绍如何通过 ONNX 导出和运行推理工作负载 | ||
如何使用基准测试 | 如何使用转换器对模型进行基准测试 |
TensorFlow 示例
自然语言处理
笔记本 | 描述 | ||
---|---|---|---|
训练您的分词器 | 如何训练和使用您自己的分词器 | ||
训练您的语言模型 | 如何轻松开始使用 transformers | ||
如何在文本分类上微调模型 | 展示如何预处理数据并在任何 GLUE 任务上微调预训练模型。 | ||
如何在语言建模上微调模型 | 展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型。 | ||
如何在标记分类上微调模型 | 展示如何预处理数据并在标记分类任务(NER、PoS)上微调预训练模型。 | ||
如何在问答上微调模型 | 展示如何预处理数据并在 SQUAD 上微调预训练模型。 | ||
如何在多选题上微调模型 | 展示如何预处理数据并在 SWAG 上微调预训练模型。 | ||
如何在翻译上微调模型 | 展示如何预处理数据并在 WMT 上微调预训练模型。 | ||
如何在摘要上微调模型 | 展示如何预处理数据并在 XSUM 上微调预训练模型。 |
计算机视觉
笔记本 | 描述 | ||
---|---|---|---|
如何对图像分类模型进行微调 | 展示如何预处理数据并在图像分类上对任何预训练的视觉模型进行微调 | ||
如何在语义分割上微调 SegFormer 模型 | 展示如何预处理数据并在语义分割上微调预训练的 SegFormer 模型 |
生物序列
笔记本 | 描述 | ||
---|---|---|---|
如何微调预训练的蛋白质模型 | 了解如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型 |
实用笔记本
笔记本 | 描述 | ||
---|---|---|---|
如何在 TPU 上训练 TF/Keras 模型 | 了解如何在 Google 的 TPU 硬件上高速训练 |
Optimum 笔记本
🤗 Optimum 是 🤗 Transformers 的扩展,提供了一组性能优化工具,使模型能够在目标硬件上以最高效率进行训练和运行。
笔记本 | 描述 | ||
---|---|---|---|
如何使用 ONNX Runtime 对文本分类模型进行量化 | 展示如何在任何 GLUE 任务中使用 ONNX Runtime 对模型应用静态和动态量化。 | ||
如何使用 Intel Neural Compressor 对文本分类模型进行量化 | 展示如何在任何 GLUE 任务中使用 Intel Neural Compressor (INC) 对模型应用静态、动态和感知训练量化。 | ||
如何使用 ONNX Runtime 对文本分类模型进行微调 | 展示如何预处理数据并在任何 GLUE 任务中使用 ONNX Runtime 对模型进行微调。 | ||
如何使用 ONNX Runtime 对摘要模型进行微调 | 展示如何预处理数据并在 XSUM 上使用 ONNX Runtime 对模型进行微调。 |
社区笔记本:
社区开发的更多笔记本电脑可供使用 here。
< > 更新 在 GitHub 上