timm 文档

数据

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

数据

timm.data.create_dataset

< >

( name: str root: typing.Optional[str] = None split: str = 'validation' search_split: bool = True class_map: dict = None load_bytes: bool = False is_training: bool = False download: bool = False batch_size: int = 1 num_samples: typing.Optional[int] = None seed: int = 42 repeats: int = 0 input_img_mode: str = 'RGB' trust_remote_code: bool = False **kwargs )

参数

  • name — 数据集名称,对于基于文件夹的数据集,可以为空
  • root — 数据集的根文件夹 (全部)
  • split — 数据集拆分 (全部)
  • search_split — 从根目录搜索特定拆分的子文件夹,因此可以在命令行/配置中指定 imagenet/ 而不是 /imagenet/val 等。(文件夹, Torch)
  • class_map — 通过文本文件或字典指定 class -> index 映射 (文件夹)
  • load_bytes — 加载数据,将图像作为未解码的字节返回 (文件夹)
  • download — 如果数据集不存在且受支持,则下载数据集 (HFIDS, TFDS, Torch)
  • is_training — 在训练模式下创建数据集,这与拆分不同。对于 Iterable / TDFS,它启用 shuffle,对于其他数据集则忽略。(TFDS, WDS, HFIDS)
  • batch_size — 可迭代数据集的批大小提示 (TFDS, WDS, HFIDS)
  • seed — 可迭代数据集的种子 (TFDS, WDS, HFIDS)
  • repeats — 每个迭代的数据集重复次数,即 epoch (TFDS, WDS, HFIDS)
  • input_img_mode — 输入图像颜色转换模式,例如 ‘RGB’, ‘L’ (文件夹, TFDS, WDS, HFDS, HFIDS)
  • trust_remote_code — 如果为 True,则信任 Hugging Face Datasets 中的远程代码 (HFDS, HFIDS)
  • **kwargs — 传递给底层 Dataset 和/或 Reader 类的其他参数

数据集工厂方法

每个参数后面的括号中是每个参数支持的数据集类型之一

  • Folder - 默认,timm 基于文件夹(或 tar)的 ImageDataset
  • Torch - 基于 torchvision 的数据集
  • HFDS - Hugging Face Datasets
  • HFIDS - Hugging Face Datasets 可迭代 (流模式,使用 IterableDataset)
  • TFDS - Tensorflow-datasets 包装器,通过 IterableImageDataset 在 IterabeDataset 接口中
  • WDS - Webdataset
  • All - 以上任何一种

timm.data.create_loader

< >

( dataset: typing.Union[timm.data.dataset.ImageDataset, timm.data.dataset.IterableImageDataset] input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] batch_size: int is_training: bool = False no_aug: bool = False re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_split: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: float = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None num_aug_repeats: int = 0 num_aug_splits: int = 0 interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) num_workers: int = 1 distributed: bool = False crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None collate_fn: typing.Optional[typing.Callable] = None pin_memory: bool = False fp16: bool = False img_dtype: dtype = torch.float32 device: device = device(type='cuda') use_prefetcher: bool = True use_multi_epochs_loader: bool = False persistent_workers: bool = True worker_seeding: str = 'all' tf_preprocessing: bool = False )

参数

  • dataset — 要加载的图像数据集。
  • input_size — 目标输入大小(通道、高度、宽度)元组或大小标量。
  • batch_size — 批次中的样本数。
  • is_training — 返回训练(随机)变换。
  • no_aug — 禁用训练时的数据增强(用于调试很有用)。
  • re_prob — 随机擦除概率。
  • re_mode — 随机擦除填充模式。
  • re_count — 随机擦除区域的数量。
  • re_split — 控制随机擦除在批次大小上的分割。
  • scale — 随机调整大小比例范围 (裁剪区域,< 1.0 => 放大)。
  • ratio — 随机纵横比范围 (RRC 的裁剪比率,RKR 的比率调整因子)。
  • hflip — 水平翻转概率。
  • vflip — 垂直翻转概率。
  • color_jitter — 随机颜色抖动分量因子 (亮度、对比度、饱和度、色调)。标量应用为 (标量,) * 3 (无色调)。
  • color_jitter_prob — 应用颜色抖动的概率,如果不是 None (对于类似 SimlCLR 的增强)。
  • grayscale_prob — 将图像转换为灰度图像的概率 (对于类似 SimCLR 的增强)。
  • gaussian_blur_prob — 应用高斯模糊的概率 (对于类似 SimCLR 的增强)。
  • auto_augment — 自动增强配置字符串 (参见 auto_augment.py)。
  • num_aug_repeats — 启用特殊采样器以在分布式 GPU 上重复相同的增强。
  • num_aug_splits — 启用增强可以跨批次分割的模式。
  • interpolation — 图像插值模式。
  • mean — 图像归一化均值。
  • std — 图像归一化标准差。
  • num_workers — 每个 DataLoader 的工作进程数。
  • distributed — 启用分布式训练的数据加载。
  • crop_pct — 推理裁剪百分比 (输出大小 / 调整大小)。
  • crop_mode — 推理裁剪模式。选项为 [‘squash’, ‘border’, ‘center’] 之一。默认为 None 时,使用 ‘center’。
  • crop_border_pixels — 推理裁剪边框,指定原始图像边缘周围的像素数量。
  • collate_fn — 覆盖默认的 collate_fn。
  • pin_memory — 锁定内存以进行设备传输。
  • fp16 — 已弃用的半精度输入 dtype 参数。请使用 img_dtype。
  • img_dtype — 输入图像的数据类型。
  • device — 将输入和目标传输到的设备。
  • use_prefetcher — 使用高效的预取器将样本加载到设备上。
  • use_multi_epochs_loader
  • persistent_workers — 启用持久工作进程。
  • worker_seeding — 控制工作进程在初始化时的随机种子。
  • tf_preprocessing — 使用 TF 1.0 推理预处理来测试模型端口。

timm.data.create_transform

< >

( input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] = 224 is_training: bool = False no_aug: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: typing.Union[float, typing.Tuple[float, ...]] = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_num_splits: int = 0 crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None tf_preprocessing: bool = False use_prefetcher: bool = False normalize: bool = True separate: bool = False )

参数

  • input_size — 目标输入尺寸(通道, 高度, 宽度)元组或尺寸标量。
  • is_training — 返回训练(随机)变换。
  • no_aug — 禁用训练时的数据增强(用于调试很有用)。
  • train_crop_mode — 训练随机裁剪模式(‘rrc’, ‘rkrc’, ‘rkrr’)。
  • scale — 随机调整大小的比例范围(裁剪区域,< 1.0 => 放大)。
  • ratio — 随机宽高比范围(RRC 的裁剪比例,RKR 的比例调整因子)。
  • hflip — 水平翻转概率。
  • vflip — 垂直翻转概率。
  • color_jitter — 随机颜色抖动分量因子(亮度、对比度、饱和度、色调)。标量应用为 (标量,) * 3 (无色调)。
  • color_jitter_prob — 如果不为 None,则以此概率应用颜色抖动(用于类似 SimlCLR 的增强)。
  • grayscale_prob — 将图像转换为灰度图的概率(用于类似 SimCLR 的增强)。
  • gaussian_blur_prob — 应用高斯模糊的概率(用于类似 SimCLR 的增强)。
  • auto_augment — 自动增强配置字符串(参见 auto_augment.py)。
  • interpolation — 图像插值模式。
  • mean — 图像归一化均值。
  • std — 图像归一化标准差。
  • re_prob — 随机擦除概率。
  • re_mode — 随机擦除填充模式。
  • re_count — 随机擦除区域的数量。
  • re_num_splits — 控制跨批次大小的随机擦除分割。
  • crop_pct — 推理裁剪百分比(输出尺寸/调整大小尺寸)。
  • crop_mode — 推理裁剪模式。选项为 [‘squash’, ‘border’, ‘center’] 之一。默认为 None 时,则为 ‘center’。
  • crop_border_pixels — 推理裁剪边框,指定原始图像边缘周围的像素数。
  • tf_preprocessing — 使用 TF 1.0 推理预处理来测试模型端口
  • use_prefetcher — 启用预取器。不将图像转换为张量或进行归一化。
  • normalize — 使用提供的均值/标准差进行归一化张量输出(如果未使用预取器)。
  • separate — 在 3 阶段元组中输出变换。

timm.data.resolve_data_config

< >

( args = None pretrained_cfg = None model = None use_test_size = False verbose = False )

< > Update on GitHub