Trainer 的工具

本页列出了 Trainer 使用的所有实用函数。

其中大部分仅在您研究库中 Trainer 的代码时才有用。

工具

class transformers.EvalPrediction

( predictions: typing.Union[numpy.ndarray, tuple[numpy.ndarray]] label_ids: typing.Union[numpy.ndarray, tuple[numpy.ndarray]] inputs: typing.Union[numpy.ndarray, tuple[numpy.ndarray], NoneType] = None losses: typing.Union[numpy.ndarray, tuple[numpy.ndarray], NoneType] = None )

参数

predictions (np.ndarray) — 模型的预测。
label_ids (np.ndarray) — 要匹配的目标。
inputs (np.ndarray, 可选) — 传递给模型的输入数据。
losses (np.ndarray, 可选) — 评估期间计算的损失值。

评估输出（始终包含标签），用于计算指标。

class transformers.IntervalStrategy

< 来源 >

( value names = None module = None qualname = None type = None start = 1 )

一个枚举。

transformers.enable_full_determinism

< 来源 >

( seed: int warn_only: bool = False )

分布式训练期间可重现行为的辅助函数。请参阅

https://pytorch.ac.cn/docs/stable/notes/randomness.html (pytorch)
https://tensorflowcn.cn/api_docs/python/tf/config/experimental/enable_op_determinism (tensorflow)

transformers.set_seed

< 来源 >

( seed: int deterministic: bool = False )

参数

seed (int) — 要设置的种子。
deterministic (bool, 可选, 默认为 False) — 是否在可用时使用确定性算法。可能会减慢训练速度。

用于在 random、numpy、torch 和/或 tf（如果已安装）中设置种子的可重现行为的辅助函数。

transformers.torch_distributed_zero_first

< 来源 >

( local_rank: int )

参数

local_rank (int) — 本地进程的等级。

分布式训练中，使所有进程等待每个本地主进程执行某些操作的装饰器。

回调内部

class transformers.trainer_callback.CallbackHandler

< 来源 >

( callbacks model processing_class optimizer lr_scheduler )

仅按顺序调用回调列表的内部类。

分布式评估

class transformers.trainer_pt_utils.DistributedTensorGatherer

< 来源 >

( world_size num_samples make_multiple_of = None padding_index = -100 )

参数

world_size (int) — 分布式训练中使用的进程数。
num_samples (int) — 数据集中的样本数量。
make_multiple_of (int, 可选) — 如果传递此参数，则假定传递给每个进程的数据集是此参数的倍数（通过添加样本）。
padding_index (int, 可选, 默认为 -100) — 如果数组的序列长度不一致，则使用的填充索引。

一个负责通过分块在 CPU 上正确收集张量（或张量的嵌套列表/元组）的类。

如果我们的数据集有 16 个样本，在 3 个进程上批量大小为 2，并且我们每一步都收集然后传输到 CPU，我们的采样器将生成以下索引

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 0, 1]

以获得大小为 3 的倍数（以便每个进程获得相同的数据集长度）。然后进程 0、1 和 2 将负责对以下样本进行预测

P0: [0, 1, 2, 3, 4, 5]
P1: [6, 7, 8, 9, 10, 11]
P2: [12, 13, 14, 15, 0, 1]

每个进程处理的第一个批次将是

P0: [0, 1]
P1: [6, 7]
P2: [12, 13]

因此，如果我们在第一个批次结束时进行收集，我们将得到一个对应于以下索引的张量（张量的嵌套列表/元组）

[0, 1, 6, 7, 12, 13]

如果我们在不采取任何预防措施的情况下直接连接我们的结果，用户将在预测循环结束时以这种顺序获得这些索引的预测

[0, 1, 6, 7, 12, 13, 2, 3, 8, 9, 14, 15, 4, 5, 10, 11, 0, 1]

出于某种原因，这并不能满足他们的需求。这个类就是为了解决这个问题。

add_arrays

< 来源 >

( arrays )

将 arrays 添加到内部存储中。将在第一次传递数组时将存储初始化为完整大小，以便如果注定要发生 OOM，则会在开始时发生。

finalize

< 来源 >

( )

返回正确收集的数组，并截断为样本数量（因为采样器添加了一些额外的样本以使每个进程的数据集长度相同）。

Trainer 参数解析器

class transformers.HfArgumentParser

< 来源 >

( dataclass_types: typing.Union[transformers.hf_argparser.DataClassType, collections.abc.Iterable[transformers.hf_argparser.DataClassType], NoneType] = None **kwargs )

参数

dataclass_types (DataClassType 或 Iterable[DataClassType], 可选) — 数据类类型，或数据类类型列表，我们将用解析的参数“填充”实例。
kwargs (dict[str, Any], 可选) — 以常规方式传递给 argparse.ArgumentParser()。

argparse.ArgumentParser 的这个子类使用数据类上的类型提示来生成参数。

该类旨在与本机 argparse 良好配合。特别是，您可以在初始化后向解析器添加更多（非数据类支持的）参数，并且在解析后您将以附加命名空间的形式获得输出。可选：要创建子参数组，请在数据类中使用 _argument_group_name 属性。

parse_args_into_dataclasses

< 来源 >

( args = None return_remaining_strings = False look_for_args_file = True args_filename = None args_file_flag = None ) → 包含以下内容的元组：

参数

args — 要解析的字符串列表。默认值取自 sys.argv。（与 argparse.ArgumentParser 相同）
return_remaining_strings — 如果为 true，还返回剩余参数字符串的列表。
look_for_args_file — 如果为 true，将查找与此进程的入口点脚本同名的“.args”文件，并将其潜在内容附加到命令行参数。
args_filename — 如果不是 None，将使用此文件而不是前一个参数中指定的“.args”文件。
args_file_flag — 如果不是 None，将在命令行参数中查找用此标志指定的文件。该标志可以指定多次，优先级由顺序决定（最后一个获胜）。

包含以下内容的元组：

数据类实例，顺序与传递给初始化器时的顺序相同。
如果适用，一个额外的命名空间，用于在初始化后添加到解析器的更多（非数据类支持的）参数。
剩余参数字符串的潜在列表。（与 argparse.ArgumentParser.parse_known_args 相同）

将命令行参数解析为指定数据类类型的实例。

这依赖于 argparse 的 ArgumentParser.parse_known_args。请参阅文档：docs.python.org/3.7/library/argparse.html#argparse.ArgumentParser.parse_args

parse_dict

< 来源 >

( args: dict allow_extra_keys: bool = False ) → 包含以下内容的元组：

参数

args (dict) — 包含配置值的字典
allow_extra_keys (bool, 可选, 默认为 False) — 默认为 False。如果为 False，则如果字典包含未解析的键，将引发异常。

包含以下内容的元组：

数据类实例，顺序与传递给初始化器时的顺序相同。

不使用 argparse 的替代辅助方法，而是使用字典填充数据类类型。

parse_json_file

< 来源 >

( json_file: typing.Union[str, os.PathLike] allow_extra_keys: bool = False ) → 包含以下内容的元组：

参数

json_file (str 或 os.PathLike) — 要解析的 json 文件名
allow_extra_keys (bool, 可选, 默认为 False) — 默认为 False。如果为 False，则如果 json 文件包含未解析的键，将引发异常。

包含以下内容的元组：

数据类实例，顺序与传递给初始化器时的顺序相同。

不使用 argparse 的替代辅助方法，而是加载 json 文件并填充数据类类型。

parse_yaml_file

< 来源 >

( yaml_file: typing.Union[str, os.PathLike] allow_extra_keys: bool = False ) → 包含以下内容的元组：

参数

yaml_file (str 或 os.PathLike) — 要解析的 yaml 文件名
allow_extra_keys (bool, 可选, 默认为 False) — 默认为 False。如果为 False，则如果 json 文件包含未解析的键，将引发异常。

包含以下内容的元组：

数据类实例，顺序与传递给初始化器时的顺序相同。

不使用 argparse 的替代辅助方法，而是加载 yaml 文件并填充数据类类型。

调试工具

class transformers.debug_utils.DebugUnderflowOverflow

< 来源 >

( model max_frames_to_save = 21 trace_batch_nums = [] abort_after_batch_num = None )

参数

model (nn.Module) — 要调试的模型。
max_frames_to_save (int, 可选, 默认为21) — 记录多少帧
trace_batch_nums(list[int], 可选, 默认为[]) — 要跟踪的批次号（关闭检测）
abort_after_batch_num (`int`, 可选) — 是否在某个批次号完成后中止

这个调试类有助于检测和理解模型何时开始变得非常大或非常小，更重要的是检测nan或inf权重和激活元素。

有两种工作模式

下溢/上溢检测（默认）
特定批次的绝对最小值/最大值跟踪（不带检测）

模式1：下溢/上溢检测

要激活下溢/上溢检测，请使用模型初始化对象

debug_overflow = DebugUnderflowOverflow(model)

然后像往常一样运行训练，如果至少一个权重、输入或输出元素中检测到nan或inf，此模块将抛出异常并打印导致此事件的max_frames_to_save帧，每帧报告：

运行forward的完全限定模块名加上类名
每个模块权重以及输入和输出的所有元素的绝对最小值和最大值

例如，这是在fp16中运行google/mt5-small混合精度时检测报告的标题和最后几帧

混合精度

Detected inf/nan during batch_number=0
Last 21 forward frames:
abs min  abs max  metadata
[...]
                  encoder.block.2.layer.1.DenseReluDense.wi_0 Linear
2.17e-07 4.50e+00 weight
1.79e-06 4.65e+00 input[0]
2.68e-06 3.70e+01 output
                  encoder.block.2.layer.1.DenseReluDense.wi_1 Linear
8.08e-07 2.66e+01 weight
1.79e-06 4.65e+00 input[0]
1.27e-04 2.37e+02 output
                  encoder.block.2.layer.1.DenseReluDense.wo Linear
1.01e-06 6.44e+00 weight
0.00e+00 9.74e+03 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.DenseReluDense T5DenseGatedGeluDense
1.79e-06 4.65e+00 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.dropout Dropout
3.18e-04 6.27e+04 input[0]
0.00e+00      inf output

你可以在这里看到，T5DenseGatedGeluDense.forward产生的输出激活的绝对最大值约为62.7K，这非常接近fp16的上限64K。在下一帧中，我们有Dropout，它在将一些元素归零后重新规范化权重，这将绝对最大值推高到超过64K，从而导致溢出。

如你所见，当数字开始变得非常大（对于fp16数字）时，我们需要查看之前的帧。

跟踪是在前向钩子中完成的，该钩子在forward完成后立即调用。

默认情况下，打印最后21帧。你可以根据需要更改默认值。例如：

debug_overflow = DebugUnderflowOverflow(model, max_frames_to_save=100)

为了验证你是否正确设置了此调试功能，并且你打算在可能需要数小时才能完成的训练中使用它，请首先在启用正常跟踪的情况下运行它，用于少量批次，如下一节所述。

模式2. 特定批次的绝对最小值/最大值跟踪（不带检测）

第二种工作模式是每批次跟踪，并关闭下溢/上溢检测功能。

假设你想观察每个forward调用的所有元素的绝对最小值和最大值，

并且只对批次1和3执行此操作。然后你可以将此类别实例化为：

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3])

现在将使用与上面解释的相同格式跟踪批次1和3。批次是从0开始索引的。

如果已知程序在某个批次号之后开始出现异常，这会很有帮助，你可以直接快进到该区域。

提前停止

你还可以指定在哪个批次号之后停止训练，使用：

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3], abort_after_batch_num=3)

此功能主要在跟踪模式下有用，但你可以在任何模式下使用它。

性能:

由于此模块在每次前向传播时都会测量模型每个权重的绝对min/max，因此会减慢训练速度。因此，一旦调试需求得到满足，请记住将其关闭。

< > 在 GitHub 上更新

Transformers

Trainer 的工具

工具

class transformers.EvalPrediction

class transformers.IntervalStrategy

transformers.enable_full_determinism

transformers.set_seed

transformers.torch_distributed_zero_first

回调内部

class transformers.trainer_callback.CallbackHandler

分布式评估

class transformers.trainer_pt_utils.DistributedTensorGatherer

add_arrays

finalize

Trainer 参数解析器

class transformers.HfArgumentParser

parse_args_into_dataclasses

parse_dict

parse_json_file

parse_yaml_file

调试工具

class transformers.debug_utils.DebugUnderflowOverflow