处理图像数据

本指南展示了处理图像数据集的特定方法。了解如何

使用 map() 处理图像数据集。
使用 set_transform() 为数据集应用数据增强。

有关如何处理任何类型数据集的指南，请参阅通用处理指南。

映射

map() 函数可以对整个数据集应用变换。

例如，创建一个基本的 Resize 函数

>>> def transforms(examples):
...     examples["pixel_values"] = [image.convert("RGB").resize((100,100)) for image in examples["image"]]
...     return examples

现在使用 map() 函数来调整整个数据集的大小，并设置 batched=True 通过接受示例批次来加快处理速度。转换返回 pixel_values 作为可缓存的 PIL.Image 对象

>>> dataset = dataset.map(transforms, remove_columns=["image"], batched=True)
>>> dataset[0]
{'label': 6,
 'pixel_values': <PIL.PngImagePlugin.PngImageFile image mode=RGB size=100x100 at 0x7F058237BB10>}

缓存文件节省了时间，因为您不必执行相同的转换两次。map() 函数最适合仅在训练中运行一次的操作，例如调整图像大小，而不是将其用于每个 epoch 执行的操作，例如数据增强。

map() 会占用一些内存，但您可以使用以下参数来降低其内存需求

batch_size 确定在一次调用转换函数时处理的示例数量。
writer_batch_size 确定在存储之前保留在内存中的已处理示例的数量。

两个参数值都默认为 1000，如果存储图像，这可能很昂贵。使用 map() 时，降低这些值以使用更少的内存。

应用变换

🤗 Datasets 可以将任何库或包中的数据增强应用到你的数据集中。可以使用 set_transform() 对数据批次进行即时应用变换，这样可以节省磁盘空间。

以下示例使用了 torchvision，但您也可以随意使用其他数据增强库，例如 Albumentations、Kornia 和 imgaug。

例如，如果您想随机更改图像的颜色属性

>>> from torchvision.transforms import Compose, ColorJitter, ToTensor

>>> jitter = Compose(
...     [
...          ColorJitter(brightness=0.25, contrast=0.25, saturation=0.25, hue=0.7),
...          ToTensor(),
...     ]
... )

创建一个函数来应用 ColorJitter 变换

>>> def transforms(examples):
...     examples["pixel_values"] = [jitter(image.convert("RGB")) for image in examples["image"]]
...     return examples

使用 set_transform() 函数应用变换

>>> dataset.set_transform(transforms)

在 GitHub 上更新