Hugging Face的标志

最佳文档

虚拟输入生成器

您正在查看 main 版本，需要从源安装。如果您想执行常规pip安装，请查阅最新稳定版本（v1.21.2）。
Hugging Face's logo
加入Hugging Face社区

并获得增强文档体验的权限

开始使用

虚拟输入生成器

在实际操作中，经常需要生成虚拟输入来完成某些任务（例如跟踪、将模型导出到后端、测试模型输出等）。虚拟输入生成器类旨在使这种生成过程变得简单且可重用。

基类

类 optimum.utils.DummyInputGenerator

< >

( )

为支持的输入名称生成所需框架的虚拟输入。

concat_inputs

< >

( inputs dim: int )

参数

  • dim (int) — 将输入沿着哪个维度连接。

将输入拼接在一起。

constant_tensor

< >

( shape: typing.List[int] value: typing.Union[int, float] = 1 dtype: typing.Optional[typing.Any] = None framework: str = 'pt' )

参数

  • shape (整数列表) — 常量张量的形状。
  • value (整数, 浮点型, 默认值为 1) — 填充常量张量的值。
  • dtype (可选的元类型, 默认为 None) — 常量张量的数据类型。
  • framework (字符串, 默认为 "pt") — 所需的框架。

生成一个常量张量。

生成

< >

( input_name: str framework: str = 'pt' int_dtype: str = 'int64' float_dtype: str = 'fp32' )

参数

  • input_name (str) — 要生成的输入的名称。
  • 框架 (str，默认为 "pt") — 请求的框架。
  • int_dtype (str，默认为 "int64") — 生成整数张量的数据类型。
  • float_dtype (str，默认为 "fp32") — 生成浮点张量的数据类型。

为请求的框架生成匹配 input_name 的虚拟输入。

pad_input_on_dim

< >

( input_ dim: int desired_length: typing.Optional[int] = None padding_length: typing.Optional[int] = None value: typing.Union[int, float] = 1 dtype: typing.Optional[typing.Any] = None )

参数

  • dim (int) — 填充的维度。
  • desired_length (Optional[int], 默认 None) — 填充后沿该维度的期望长度。
  • padding_length (Optional[int], 默认 None) — 沿维度填充的长度。
  • value (Union[int, float], 默认 1) — 用作填充的值。
  • dtype (Optional[Any], 默认为 None) — 填充的数据类型。

按所需长度或填充长度填充输入。

random_float_tensor

< >

( shape: typing.List[int] min_value: float = 0 max_value: float = 1 framework: str = 'pt' dtype: str = 'fp32' )

参数

  • shape (List[int]) — 随机张量的形状。
  • min_value (float, 默认值 0) — 允许的最小值。
  • max_value (float, 默认值 1) — 允许的最大值。
  • framework (str, 默认值 "pt") — 请求的框架。
  • dtype (str, 默认值 "fp32") — 生成的浮点数张量的数据类型。可以是“fp32”，“fp16”，“bf16”。

生成[min_value, max_value)范围内的随机浮点数张量。

random_int_tensor

< >

( shape: typing.List[int] max_value: int min_value: int = 0 framework: str = 'pt' dtype: str = 'int64' )

参数

  • shape (List[int]) — 随机张量的形状。
  • max_value (int) — 允许的最大值。
  • min_value (int, 默认为0) — 允许的最小值。
  • framework (str, 默认为"pt") — 请求的框架。
  • dtype (str, 默认为"int64") — 生成的整数张量的数据类型。可以是 "int64"，"int32"，"int8"。

生成[min_value, max_value)范围内随机整数的张量。

random_mask_tensor

< >

( shape: typing.List[int] padding_side: str = 'right' framework: str = 'pt' dtype: str = 'int64' )

参数

  • shape (List[int]) — 随机张量的形状。
  • padding_side (str, 默认为 “right”) — 应用填充的边。
  • framework (str, 默认为 "pt") — 所需的框架。
  • dtype (str, 默认值为 "int64") — 生成的整数张量的数据类型。可以是“int64”、“int32”、“int8”。

生成右填充或左填充的掩码张量。

supports_input

< >

( input_name: str ) → bool

参数

  • input_name (str) — 要生成的输入的名称。

返回

bool

一个布尔值，指定是否支持输入。

检查假输入生成器是否支持生成所需输入。

现有虚拟输入生成器

类 optimum.utils.DummyTextInputGenerator

< >

( 任务: str normalized_config: NormalizedTextConfig 批大小: int = 2 序列长度: int = 16 选项数量: int = 4 随机批大小范围: typing.Union[typing.Tuple[int, int], NoneType] = None 随机序列长度范围: typing.Union[typing.Tuple[int, int], NoneType] = None 随机选项数量范围: typing.Union[typing.Tuple[int, int], NoneType] = None 填充方向: str = 'right' **kwargs )

生成虚拟编码器文本输入。

类 optimum.utils.DummyDecoderTextInputGenerator

< >

( 任务: str normalized_config: NormalizedTextConfig 批大小: int = 2 序列长度: int = 16 选项数量: int = 4 随机批大小范围: typing.Union[typing.Tuple[int, int], NoneType] = None 随机序列长度范围: typing.Union[typing.Tuple[int, int], NoneType] = None 随机选项数量范围: typing.Union[typing.Tuple[int, int], NoneType] = None 填充方向: str = 'right' **kwargs )

生成模拟解码文本输入。

类 optimum.utils.DummyPastKeyValuesGenerator

< >

( task: str normalized_config: NormalizedTextConfig batch_size: int = 2 sequence_length: int = 16 random_batch_size_range: typing.Union[typing.Tuple[int, int], NoneType] = None random_sequence_length_range: typing.Union[typing.Tuple[int, int], NoneType] = None **kwargs )

生成模拟的 past_key_values 输入。

类 optimum.utils.DummySeq2SeqPastKeyValuesGenerator

< >

( task: str normalized_config: typing.Union[optimum.utils.normalized_config.NormalizedSeq2SeqConfig, optimum.utils.normalized_config.NormalizedEncoderDecoderConfig] batch_size: int = 2 sequence_length: int = 16 encoder_sequence_length: typing.Optional[int] = None random_batch_size_range: typing.Union[typing.Tuple[int, int], NoneType] = None random_sequence_length_range: typing.Union[typing.Tuple[int, int], NoneType] = None **kwargs )

为 seq2seq 架构生成虚拟 past_key_values 输入。

类名 optimum.utils.DummyBboxInputGenerator

< >

( task: str normalized_config: NormalizedConfig batch_size: int = 2 sequence_length: int = 16 random_batch_size_range: typing.Union[typing.Tuple[int, int], NoneType] = None random_sequence_length_range: typing.Union[typing.Tuple[int, int], NoneType] = None **kwargs )

生成虚拟的bbox输入。

类 optimum.utils.DummyVisionInputGenerator

< >

( task: str normalized_config: NormalizedVisionConfig batch_size: int = 2 num_channels: int = 3 width: int = 64 height: int = 64 **kwargs )

生成虚拟的视觉输入。

类 optimum.utils.DummyAudioInputGenerator

< >

( task: str normalized_config: NormalizedConfig batch_size: int = 2 feature_size: int = 80 nb_max_frames: int = 3000 audio_sequence_length: int = 16000 **kwargs )

< > 在 GitHub 上更新

←GPTQ 量化 标准化配置→