Diffusers 文档
创建用于训练的数据集
并获得增强的文档体验
开始使用
创建用于训练的数据集
Hub 上有许多数据集可用于训练模型，但如果您找不到感兴趣的数据集或想使用自己的数据集，可以使用 🤗 Datasets 库创建一个数据集。数据集结构取决于您想要训练模型的任务。最基本的数据集结构是一个图像目录，用于执行无条件图像生成等任务。另一种数据集结构可能是一个图像目录和一个包含其对应文本描述的文本文件，用于执行文本到图像生成等任务。
本指南将向您展示创建数据集以进行微调的两种方法
- 提供一个图像文件夹给
--train_data_dir参数 - 将数据集上传到 Hub 并将数据集仓库 ID 传递给
--dataset_name参数
💡 在 创建图像数据集 指南中了解更多关于如何创建用于训练的图像数据集的信息。
以文件夹形式提供数据集
对于无条件生成，您可以将自己的数据集以图像文件夹的形式提供。训练脚本使用 🤗 Datasets 中的 ImageFolder 构建器从文件夹自动构建数据集。您的目录结构应如下所示
data_dir/xxx.png data_dir/xxy.png data_dir/[...]/xxz.png
将数据集目录的路径传递给 --train_data_dir 参数，然后即可开始训练
accelerate launch train_unconditional.py \
--train_data_dir <path-to-train-directory> \
<other-arguments>将您的数据上传到 Hub
💡 有关创建数据集并将其上传到 Hub 的更多详细信息和上下文，请查看 使用 🤗 Datasets 进行图像搜索 这篇文章。
首先使用 ImageFolder 功能创建一个数据集，这将创建一个包含 PIL 编码图像的 image 列。
您可以使用 data_dir 或 data_files 参数来指定数据集的位置。data_files 参数支持将特定文件映射到数据集拆分，例如 train 或 test
from datasets import load_dataset
# example 1: local folder
dataset = load_dataset("imagefolder", data_dir="path_to_your_folder")
# example 2: local files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset("imagefolder", data_files="path_to_zip_file")
# example 3: remote files (supported formats are tar, gzip, zip, xz, rar, zstd)
dataset = load_dataset(
"imagefolder",
data_files="https://download.microsoft.com/download/3/E/1/3E1C3F21-ECDB-4869-8368-6DEBA77B919F/kagglecatsanddogs_3367a.zip",
)
# example 4: providing several splits
dataset = load_dataset(
"imagefolder", data_files={"train": ["path/to/file1", "path/to/file2"], "test": ["path/to/file3", "path/to/file4"]}
)然后使用 push_to_hub 方法将数据集上传到 Hub
# assuming you have ran the huggingface-cli login command in a terminal
dataset.push_to_hub("name_of_your_dataset")
# if you want to push to a private repo, simply pass private=True:
dataset.push_to_hub("name_of_your_dataset", private=True)现在，通过将数据集名称传递给 --dataset_name 参数，该数据集可用于训练
accelerate launch --mixed_precision="fp16" train_text_to_image.py \
--pretrained_model_name_or_path="stable-diffusion-v1-5/stable-diffusion-v1-5" \
--dataset_name="name_of_your_dataset" \
<other-arguments>下一步
现在您已经创建了一个数据集，您可以将其插入到训练脚本的 train_data_dir（如果您的数据集是本地的）或 dataset_name（如果您的数据集在 Hub 上）参数中。
对于您的下一步，请随意尝试使用您的数据集来训练用于无条件生成或文本到图像生成的模型！
< > 在 GitHub 上更新