Diffusers 文档

概述

Hugging Face's logo
加入 Hugging Face 社区

并访问增强的文档体验

开始使用

概述

🤗 Diffusers 提供了一系列训练脚本,供您训练自己的扩散模型。您可以在 diffusers/examples 中找到我们所有的训练脚本。

每个训练脚本都是

  • 自包含的:训练脚本不依赖于任何本地文件,并且运行脚本所需的所有软件包都从 requirements.txt 文件中安装。
  • 易于调整的:训练脚本是训练特定任务扩散模型的示例,并非所有训练场景都能直接使用。您可能需要根据您的具体用例调整训练脚本。为了帮助您做到这一点,我们完全公开了数据预处理代码和训练循环,以便您可以根据自己的需要进行修改。
  • 对初学者友好的:训练脚本旨在对初学者友好且易于理解,而不是包含最新的最先进方法以获得最佳和最具竞争力的结果。我们认为过于复杂的任何训练方法都故意省略。
  • 单一用途的:每个训练脚本都专门设计用于一项任务,以保持其可读性和易理解性。

我们当前的训练脚本集包括

训练 SDXL 支持 LoRA 支持 Flax 支持
无条件图像生成 在 Colab 中打开
文本到图像 👍 👍 👍
文本反转 在 Colab 中打开 👍
DreamBooth 在 Colab 中打开 👍 👍 👍
ControlNet 👍 👍
InstructPix2Pix 👍
自定义扩散
T2I-Adapters 👍
Kandinsky 2.2 👍
Wuerstchen 👍

这些示例得到积极维护,因此如果您发现它们无法按预期工作,请随时提出问题。如果您觉得应该包含其他训练示例,欢迎您发起 功能请求,与我们讨论您的功能想法以及它是否符合我们自包含、易于调整、对初学者友好和单一用途的标准。

安装

确保您可以在新的虚拟环境中从源代码安装库,从而成功运行最新版本的示例脚本

git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .

然后导航到训练脚本的文件夹(例如,DreamBooth)并安装 requirements.txt 文件。一些训练脚本对 SDXL、LoRA 或 Flax 具有特定的需求文件。如果您使用的是其中一个脚本,请确保安装其相应的需求文件。

cd examples/dreambooth
pip install -r requirements.txt
# to train SDXL with DreamBooth
pip install -r requirements_sdxl.txt

为了加快训练速度并减少内存使用,我们建议

  • 使用 PyTorch 2.0 或更高版本,以便在训练期间自动使用 缩放点积注意力(您无需对训练代码进行任何更改)
  • 安装 xFormers 以启用内存高效注意力
< > 更新 在 GitHub 上