timm 文档
数据
并获得增强的文档体验
开始使用
数据
timm.data.create_dataset
< source >( name: str root: typing.Optional[str] = None split: str = 'validation' search_split: bool = True class_map: dict = None load_bytes: bool = False is_training: bool = False download: bool = False batch_size: int = 1 num_samples: typing.Optional[int] = None seed: int = 42 repeats: int = 0 input_img_mode: str = 'RGB' trust_remote_code: bool = False **kwargs )
参数
- name — 数据集名称,对于基于文件夹的数据集,可以为空
- root — 数据集的根文件夹 (全部)
- split — 数据集拆分 (全部)
- search_split — 从根目录搜索特定拆分的子文件夹,因此可以在命令行/配置中指定
imagenet/
而不是/imagenet/val
等。(文件夹, Torch) - class_map — 通过文本文件或字典指定 class -> index 映射 (文件夹)
- load_bytes — 加载数据,将图像作为未解码的字节返回 (文件夹)
- download — 如果数据集不存在且受支持,则下载数据集 (HFIDS, TFDS, Torch)
- is_training — 在训练模式下创建数据集,这与拆分不同。对于 Iterable / TDFS,它启用 shuffle,对于其他数据集则忽略。(TFDS, WDS, HFIDS)
- batch_size — 可迭代数据集的批大小提示 (TFDS, WDS, HFIDS)
- seed — 可迭代数据集的种子 (TFDS, WDS, HFIDS)
- repeats — 每个迭代的数据集重复次数,即 epoch (TFDS, WDS, HFIDS)
- input_img_mode — 输入图像颜色转换模式,例如 ‘RGB’, ‘L’ (文件夹, TFDS, WDS, HFDS, HFIDS)
- trust_remote_code — 如果为 True,则信任 Hugging Face Datasets 中的远程代码 (HFDS, HFIDS)
- **kwargs — 传递给底层 Dataset 和/或 Reader 类的其他参数
数据集工厂方法
每个参数后面的括号中是每个参数支持的数据集类型之一
- Folder - 默认,timm 基于文件夹(或 tar)的 ImageDataset
- Torch - 基于 torchvision 的数据集
- HFDS - Hugging Face Datasets
- HFIDS - Hugging Face Datasets 可迭代 (流模式,使用 IterableDataset)
- TFDS - Tensorflow-datasets 包装器,通过 IterableImageDataset 在 IterabeDataset 接口中
- WDS - Webdataset
- All - 以上任何一种
timm.data.create_loader
< source >( dataset: typing.Union[timm.data.dataset.ImageDataset, timm.data.dataset.IterableImageDataset] input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] batch_size: int is_training: bool = False no_aug: bool = False re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_split: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: float = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None num_aug_repeats: int = 0 num_aug_splits: int = 0 interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) num_workers: int = 1 distributed: bool = False crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None collate_fn: typing.Optional[typing.Callable] = None pin_memory: bool = False fp16: bool = False img_dtype: dtype = torch.float32 device: device = device(type='cuda') use_prefetcher: bool = True use_multi_epochs_loader: bool = False persistent_workers: bool = True worker_seeding: str = 'all' tf_preprocessing: bool = False )
参数
- dataset — 要加载的图像数据集。
- input_size — 目标输入大小(通道、高度、宽度)元组或大小标量。
- batch_size — 批次中的样本数。
- is_training — 返回训练(随机)变换。
- no_aug — 禁用训练时的数据增强(用于调试很有用)。
- re_prob — 随机擦除概率。
- re_mode — 随机擦除填充模式。
- re_count — 随机擦除区域的数量。
- re_split — 控制随机擦除在批次大小上的分割。
- scale — 随机调整大小比例范围 (裁剪区域,< 1.0 => 放大)。
- ratio — 随机纵横比范围 (RRC 的裁剪比率,RKR 的比率调整因子)。
- hflip — 水平翻转概率。
- vflip — 垂直翻转概率。
- color_jitter — 随机颜色抖动分量因子 (亮度、对比度、饱和度、色调)。标量应用为 (标量,) * 3 (无色调)。
- color_jitter_prob — 应用颜色抖动的概率,如果不是 None (对于类似 SimlCLR 的增强)。
- grayscale_prob — 将图像转换为灰度图像的概率 (对于类似 SimCLR 的增强)。
- gaussian_blur_prob — 应用高斯模糊的概率 (对于类似 SimCLR 的增强)。
- auto_augment — 自动增强配置字符串 (参见 auto_augment.py)。
- num_aug_repeats — 启用特殊采样器以在分布式 GPU 上重复相同的增强。
- num_aug_splits — 启用增强可以跨批次分割的模式。
- interpolation — 图像插值模式。
- mean — 图像归一化均值。
- std — 图像归一化标准差。
- num_workers — 每个 DataLoader 的工作进程数。
- distributed — 启用分布式训练的数据加载。
- crop_pct — 推理裁剪百分比 (输出大小 / 调整大小)。
- crop_mode — 推理裁剪模式。选项为 [‘squash’, ‘border’, ‘center’] 之一。默认为 None 时,使用 ‘center’。
- crop_border_pixels — 推理裁剪边框,指定原始图像边缘周围的像素数量。
- collate_fn — 覆盖默认的 collate_fn。
- pin_memory — 锁定内存以进行设备传输。
- fp16 — 已弃用的半精度输入 dtype 参数。请使用 img_dtype。
- img_dtype — 输入图像的数据类型。
- device — 将输入和目标传输到的设备。
- use_prefetcher — 使用高效的预取器将样本加载到设备上。
- use_multi_epochs_loader —
- persistent_workers — 启用持久工作进程。
- worker_seeding — 控制工作进程在初始化时的随机种子。
- tf_preprocessing — 使用 TF 1.0 推理预处理来测试模型端口。
timm.data.create_transform
< source >( input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] = 224 is_training: bool = False no_aug: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: typing.Union[float, typing.Tuple[float, ...]] = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_num_splits: int = 0 crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None tf_preprocessing: bool = False use_prefetcher: bool = False normalize: bool = True separate: bool = False )
参数
- input_size — 目标输入尺寸(通道, 高度, 宽度)元组或尺寸标量。
- is_training — 返回训练(随机)变换。
- no_aug — 禁用训练时的数据增强(用于调试很有用)。
- train_crop_mode — 训练随机裁剪模式(‘rrc’, ‘rkrc’, ‘rkrr’)。
- scale — 随机调整大小的比例范围(裁剪区域,< 1.0 => 放大)。
- ratio — 随机宽高比范围(RRC 的裁剪比例,RKR 的比例调整因子)。
- hflip — 水平翻转概率。
- vflip — 垂直翻转概率。
- color_jitter — 随机颜色抖动分量因子(亮度、对比度、饱和度、色调)。标量应用为 (标量,) * 3 (无色调)。
- color_jitter_prob — 如果不为 None,则以此概率应用颜色抖动(用于类似 SimlCLR 的增强)。
- grayscale_prob — 将图像转换为灰度图的概率(用于类似 SimCLR 的增强)。
- gaussian_blur_prob — 应用高斯模糊的概率(用于类似 SimCLR 的增强)。
- auto_augment — 自动增强配置字符串(参见 auto_augment.py)。
- interpolation — 图像插值模式。
- mean — 图像归一化均值。
- std — 图像归一化标准差。
- re_prob — 随机擦除概率。
- re_mode — 随机擦除填充模式。
- re_count — 随机擦除区域的数量。
- re_num_splits — 控制跨批次大小的随机擦除分割。
- crop_pct — 推理裁剪百分比(输出尺寸/调整大小尺寸)。
- crop_mode — 推理裁剪模式。选项为 [‘squash’, ‘border’, ‘center’] 之一。默认为 None 时,则为 ‘center’。
- crop_border_pixels — 推理裁剪边框,指定原始图像边缘周围的像素数。
- tf_preprocessing — 使用 TF 1.0 推理预处理来测试模型端口
- use_prefetcher — 启用预取器。不将图像转换为张量或进行归一化。
- normalize — 使用提供的均值/标准差进行归一化张量输出(如果未使用预取器)。
- separate — 在 3 阶段元组中输出变换。
timm.data.resolve_data_config
< source >( args = None pretrained_cfg = None model = None use_test_size = False verbose = False )