Diffusers 文档
创建用于训练的数据集
并获得增强的文档体验
开始使用
创建用于训练的数据集
在 Hub 上有许多数据集可用于模型训练，但如果你找不到感兴趣的数据集或想使用自己的数据集，你可以使用 🤗 Datasets 库创建一个。数据集的结构取决于你想要训练模型的任务。最基本的数据集结构是一个图像目录，用于无条件图像生成等任务。另一种数据集结构可能是一个图像目录和一个包含相应文本标题的文本文件，用于文本到图像生成等任务。
本指南将向您展示两种创建用于微调的数据集的方法：
- 将一个图像文件夹提供给
--train_data_dir参数 - 将数据集上传到 Hub，并将数据集仓库 ID 传递给
--dataset_name参数
💡 在 创建图像数据集 指南中了解更多关于如何创建用于训练的图像数据集的信息。
以文件夹形式提供数据集
对于无条件生成任务，您可以将自己的数据集以图像文件夹的形式提供。训练脚本使用 🤗 Datasets 中的 ImageFolder 构建器从文件夹中自动构建数据集。您的目录结构应如下所示：
data_dir/xxx.png data_dir/xxy.png data_dir/[...]/xxz.png
将数据集目录的路径传递给 --train_data_dir 参数，然后您就可以开始训练了。
accelerate launch train_unconditional.py \
--train_data_dir <path-to-train-directory> \
<other-arguments>将您的数据上传到 Hub
💡 有关创建和上传数据集到 Hub 的更多详细信息和背景，请参阅 使用 🤗 Datasets 进行图像搜索 这篇文章。
首先，使用 ImageFolder 功能创建一个数据集，它会创建一个包含 PIL 编码图像的 image 列。
您可以使用 data_dir 或 data_files 参数来指定数据集的位置。data_files 参数支持将特定文件映射到数据集拆分，例如 train 或 test：
from datasets import load_dataset
# example 1: local folder
dataset = load_dataset("imagefolder", data_dir="path_to_your_folder")
# example 2: local files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset("imagefolder", data_files="path_to_zip_file")
# example 3: remote files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset(
"imagefolder",
data_files="https://download.microsoft.com/download/3/E/1/3E1C3F21-ECDB-4869-8368-6DEBA77B919F/kagglecatsanddogs_3367a.zip",
)
# example 4: providing several splits
dataset = load_dataset(
"imagefolder", data_files={"train": ["path/to/file1", "path/to/file2"], "test": ["path/to/file3", "path/to/file4"]}
)然后使用 push_to_hub 方法将数据集上传到 Hub。
# assuming you have ran the huggingface-cli login command in a terminal
dataset.push_to_hub("name_of_your_dataset")
# if you want to push to a private repo, simply pass private=True:
dataset.push_to_hub("name_of_your_dataset", private=True)现在，通过将数据集名称传递给 --dataset_name 参数，该数据集即可用于训练。
accelerate launch --mixed_precision="fp16" train_text_to_image.py \
--pretrained_model_name_or_path="stable-diffusion-v1-5/stable-diffusion-v1-5" \
--dataset_name="name_of_your_dataset" \
<other-arguments>下一步
既然您已经创建了一个数据集，您可以将其插入到训练脚本的 `train_data_dir`（如果您的数据集在本地）或 `dataset_name`（如果您的数据集在 Hub 上）参数中。
接下来，您可以尝试使用您的数据集来训练一个用于 无条件生成 或 文本到图像生成 的模型！
< > 在 GitHub 上更新