Hugging Face 的 LOGO

Optimum 文档

虚拟输入生成器

您正在查看的是需要从源码安装。如果您想进行常规的 pip 安装，请查看最新的稳定版本 (v1.27.0)。
Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

虚拟输入生成器

为了执行任务（追踪、将模型导出到某个后端、测试模型输出等），通常需要生成虚拟输入。DummyInputGenerator 类的目标是使这种生成变得简单且可重用。

基类

类 optimum.utils.DummyInputGenerator

< >

( )

为支持的输入名称在所请求的框架中生成虚拟输入。

连接输入

< >

( inputs dim: int )

参数

  • 输入 — 在给定框架中要连接的张量列表。
  • 维度 (int) — 要连接的维度。

将输入连接在一起。

常数张量

< >

( shape: typing.List[int] value: typing.Union[int, float] = 1 dtype: typing.Optional[typing.Any] = None framework: str = 'pt' )

参数

  • 形状 (List[int]) — 常数张量的形状。
  • 值 (Union[int, float]，默认为 1) — 用来填充常数张量的值。
  • 数据类型 (Optional[Any]，默认为 None) — 常数张量的数据类型。
  • 框架 (str，默认为 "pt") — 请求的框架。

生成一个常数张量。

生成

< >

( input_name: str framework: str = 'pt' int_dtype: str = 'int64' float_dtype: str = 'fp32' )

参数

  • 输入名称 (str) — 要生成的输入的名称。
  • 框架 (str，默认为 "pt") — 请求的框架。
  • 整数数据类型 (str，默认为 "int64") — 生成的整数张量的数据类型。
  • 浮点数据类型 (str，默认为 "fp32") — 生成的浮点张量的数据类型。

生成与请求框架对应的虚拟输入。

在维度上填充输入

< >

( input_ dim: int desired_length: typing.Optional[int] = None padding_length: typing.Optional[int] = None value: typing.Union[int, float] = 1 dtype: typing.Optional[typing.Any] = None )

参数

  • 输入_ — 要填充的张量。
  • 维度 (int) — 要填充的维度。
  • 期望长度 (Optional[int]，默认为 None) — 填充后沿维度的期望长度。
  • 填充长度 (Optional[int]，默认为 None) — 沿维度填充的长度。
  • 值 (Union[int, float]，默认为 1) — 用于填充的值。
  • 数据类型 (Optional[Any]，默认为 None) — 填充的数据类型。

将输入填充到期望长度或填充长度。

随机浮点张量

< >

( shape: typing.List[int] min_value: float = 0 max_value: float = 1 framework: str = 'pt' dtype: str = 'fp32' )

参数

  • 形状 (List[int]) — 随机张量的形状。
  • 最小值 (float，默认为 0) — 允许的最小值。
  • 最大值 (float，默认为 1) — 允许的最大值。
  • 框架 (str，默认为 "pt") — 请求的框架。
  • 数据类型 (str，默认为 "fp32") — 生成的浮点张量的数据类型。可以是“fp32”、“fp16”、“bf16”。

生成一个在 [min_value, max_value) 范围内的随机浮点张量。

随机整数张量

< >

( shape: typing.List[int] max_value: int min_value: int = 0 framework: str = 'pt' dtype: str = 'int64' )

参数

  • 形状 (List[int]) — 随机张量的形状。
  • 最大值 (int) — 允许的最大值。
  • 最小值 (int，默认为 0) — 允许的最小值。
  • 框架 (str，默认为 "pt") — 请求的框架。
  • 数据类型 (str，默认为 "int64") — 生成的整数张量的数据类型。可以是“int64”、“int32”、“int8”。

生成在 [min_value, max_value) 范围内的随机整数张量。

随机掩码张量

< >

( shape: typing.List[int] padding_side: str = 'right' framework: str = 'pt' dtype: str = 'int64' )

参数

  • 形状 (List[int]) — 随机张量的形状。
  • 填充侧 (str，默认为“右”) — 填充应用的侧面。
  • 框架 (str，默认为 "pt") — 请求的框架。
  • 数据类型 (str，默认为 "int64") — 生成的整数张量的数据类型。可以是“int64”、“int32”、“int8”。

生成右填充或左填充的掩码张量。

支持输入

< >

( input_name: str ) → bool

参数

  • 输入名称 (str) — 要生成的输入的名称。

返回

布尔值

一个布尔值，指定是否支持该输入。

检查 DummyInputGenerator 是否支持生成请求的输入。

现有虚拟输入生成器

类 optimum.utils.DummyTextInputGenerator

< >

( task: str normalized_config: NormalizedTextConfig batch_size: int = 2 sequence_length: int = 16 num_choices: int = 4 random_batch_size_range: typing.Optional[typing.Tuple[int, int]] = None random_sequence_length_range: typing.Optional[typing.Tuple[int, int]] = None random_num_choices_range: typing.Optional[typing.Tuple[int, int]] = None padding_side: str = 'right' **kwargs )

生成虚拟编码器文本输入。

类 optimum.utils.DummyDecoderTextInputGenerator

< >

( task: str normalized_config: NormalizedTextConfig batch_size: int = 2 sequence_length: int = 16 num_choices: int = 4 random_batch_size_range: typing.Optional[typing.Tuple[int, int]] = None random_sequence_length_range: typing.Optional[typing.Tuple[int, int]] = None random_num_choices_range: typing.Optional[typing.Tuple[int, int]] = None padding_side: str = 'right' **kwargs )

生成虚拟解码器文本输入。

类 optimum.utils.DummyPastKeyValuesGenerator

< >

( task: str normalized_config: NormalizedTextConfig batch_size: int = 2 sequence_length: int = 16 random_batch_size_range: typing.Optional[typing.Tuple[int, int]] = None random_sequence_length_range: typing.Optional[typing.Tuple[int, int]] = None **kwargs )

生成虚拟的 past_key_values 输入。

类 optimum.utils.DummySeq2SeqPastKeyValuesGenerator

< >

( task: str normalized_config: typing.Union[optimum.utils.normalized_config.NormalizedSeq2SeqConfig, optimum.utils.normalized_config.NormalizedEncoderDecoderConfig] batch_size: int = 2 sequence_length: int = 16 encoder_sequence_length: typing.Optional[int] = None random_batch_size_range: typing.Optional[typing.Tuple[int, int]] = None random_sequence_length_range: typing.Optional[typing.Tuple[int, int]] = None **kwargs )

为 seq2seq 架构生成虚拟的 past_key_values 输入。

类 optimum.utils.DummyBboxInputGenerator

< >

( task: str normalized_config: NormalizedConfig batch_size: int = 2 sequence_length: int = 16 random_batch_size_range: typing.Optional[typing.Tuple[int, int]] = None random_sequence_length_range: typing.Optional[typing.Tuple[int, int]] = None **kwargs )

生成虚拟边界框输入。

类 optimum.utils.DummyVisionInputGenerator

< >

( task: str normalized_config: NormalizedVisionConfig batch_size: int = 2 num_channels: int = 3 width: int = 64 height: int = 64 visual_seq_length: int = 16 **kwargs )

生成虚拟视觉输入。

类 optimum.utils.DummyAudioInputGenerator

< >

( 任务: str 标准化配置: NormalizedConfig 批大小: int = 2 特征大小: int = 80 最大帧数: int = 3000 音频序列长度: int = 16000 **kwargs )

< > 在 GitHub 上更新

←GPTQ 量化 标准化配置→