Transformers 文档

自动类

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

自动类

在许多情况下,您想要使用的架构可以从您提供给 from_pretrained() 方法的预训练模型的名称或路径中猜测出来。AutoClasses 的作用就是为您完成这项工作,以便您根据预训练权重/配置/词汇表的名称/路径自动检索相关模型。

实例化 AutoConfigAutoModelAutoTokenizer 中的一个将直接创建一个相关架构的类。例如

model = AutoModel.from_pretrained("google-bert/bert-base-cased")

将创建一个模型,该模型是 BertModel 的实例。

每个任务和每个后端(PyTorch、TensorFlow 或 Flax)都有一个 AutoModel 类。

扩展自动类

每个自动类都有一种方法可以使用您的自定义类进行扩展。例如,如果您定义了一个自定义模型类 NewModel,请确保您有一个 NewModelConfig,然后您可以像这样将它们添加到自动类中

from transformers import AutoConfig, AutoModel

AutoConfig.register("new-model", NewModelConfig)
AutoModel.register(NewModelConfig, NewModel)

然后您就可以像平常一样使用自动类了!

如果您的 NewModelConfigPretrainedConfig 的子类,请确保其 model_type 属性设置为您注册配置时使用的相同键(此处为 "new-model")。

同样,如果您的 NewModelPreTrainedModel 的子类,请确保其 config_class 属性设置为您注册模型时使用的相同类(此处为 NewModelConfig)。

AutoConfig

class transformers.AutoConfig

< >

( )

这是一个通用配置类,当使用 from_pretrained() 类方法创建时,它将被实例化为库的配置类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是:

    • 字符串,托管在 huggingface.co 上的模型仓库内的预训练模型配置的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 方法或 save_pretrained() 方法保存的配置文件,例如,./my_model_directory/
    • 保存的配置 JSON 文件的路径或 URL,例如,./my_model_directory/configuration.json
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,并覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False,则此函数仅返回最终配置对象。

    如果为 True,则此函数返回 Tuple(config, unused_kwargs),其中 unused_kwargs 是一个字典,由键/值对组成,其键不是配置属性:即,kwargs 中未用于更新 config 且在其他情况下被忽略的部分。

  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库设置为 True,并且您已阅读代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • kwargs(additional 关键字参数, 可选) — kwargs 中任何键是配置属性的值将用于覆盖加载的值。关于键不是配置属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型配置实例化库的配置类之一。

要实例化的配置类是根据加载的配置对象的 model_type 属性选择的,或者在缺少该属性时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-uncased")

>>> # Download configuration from huggingface.co (user-uploaded) and cache.
>>> config = AutoConfig.from_pretrained("dbmdz/bert-base-german-cased")

>>> # If configuration file is in a directory (e.g., was saved using *save_pretrained('./test/saved_model/')*).
>>> config = AutoConfig.from_pretrained("./test/bert_saved_model/")

>>> # Load a specific configuration file.
>>> config = AutoConfig.from_pretrained("./test/bert_saved_model/my_configuration.json")

>>> # Change some config attributes when loading a pretrained config.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-uncased", output_attentions=True, foo=False)
>>> config.output_attentions
True

>>> config, unused_kwargs = AutoConfig.from_pretrained(
...     "google-bert/bert-base-uncased", output_attentions=True, foo=False, return_unused_kwargs=True
... )
>>> config.output_attentions
True

>>> unused_kwargs
{'foo': False}

注册

< >

( model_type config exist_ok = False )

参数

  • model_type (str) — 模型类型,例如 “bert” 或 “gpt”。
  • config (PretrainedConfig) — 要注册的配置。

为此类注册新的配置。

AutoTokenizer

class transformers.AutoTokenizer

< >

( )

这是一个通用分词器类,当使用 AutoTokenizer.from_pretrained() 类方法创建时,它将被实例化为库中的分词器类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path *inputs **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预定义分词器的模型 ID
    • 一个目录的路径,其中包含分词器所需的词汇表文件,例如使用 save_pretrained() 方法保存的,例如 ./my_model_directory/
    • 如果分词器仅需要单个词汇表文件(如 Bert 或 XLNet),则可以是单个已保存词汇表文件的路径或 URL,例如:./my_model_directory/vocab.txt。(不适用于所有派生类)
  • inputs (额外的的位置参数,可选) — 将传递给 Tokenizer __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于确定要实例化的分词器类的配置对象。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,并覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在默认情况下,所有下载都尽可能恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • subfolder (str, 可选) — 如果相关文件位于 huggingface.co 上的模型仓库的子文件夹中(例如,对于 facebook/rag-token-base),请在此处指定它。
  • use_fast (bool, 可选, 默认为 True) — 如果给定模型支持 快速的基于 Rust 的分词器,则使用它。如果给定模型没有可用的快速分词器,则返回正常的基于 Python 的分词器。
  • tokenizer_type (str, 可选) — 要加载的分词器类型。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上自定义模型文件中定义的自定义模型。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • kwargs (额外的关键字参数,可选) — 将传递给 Tokenizer __init__() 方法。可用于设置特殊标记,例如 bos_tokeneos_tokenunk_tokensep_tokenpad_tokencls_tokenmask_tokenadditional_special_tokens。 有关更多详细信息,请参见 __init__() 中的参数。

从预训练模型词汇表实例化库中的一个分词器类。

要实例化的分词器类是基于配置对象的 model_type 属性选择的(可以作为参数传递,也可以在可能的情况下从 pretrained_model_name_or_path 加载),或者在缺少该属性时,通过回退到对 pretrained_model_name_or_path 使用模式匹配来选择。

示例

>>> from transformers import AutoTokenizer

>>> # Download vocabulary from huggingface.co and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")

>>> # Download vocabulary from huggingface.co (user-uploaded) and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-german-cased")

>>> # If vocabulary files are in a directory (e.g. tokenizer was saved using *save_pretrained('./test/saved_model/')*)
>>> # tokenizer = AutoTokenizer.from_pretrained("./test/bert_saved_model/")

>>> # Download vocabulary from huggingface.co and define model-specific arguments
>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/roberta-base", add_prefix_space=True)

注册

< >

( config_class slow_tokenizer_class = None fast_tokenizer_class = None exist_ok = False )

参数

  • config_class (PretrainedConfig) — 与要注册的模型相对应的配置。
  • slow_tokenizer_class (PretrainedTokenizer, 可选的) — 要注册的慢速分词器。
  • fast_tokenizer_class (PretrainedTokenizerFast, 可选的) — 要注册的快速分词器。

在此映射中注册一个新的分词器。

AutoFeatureExtractor

transformers.AutoFeatureExtractor

< >

( )

这是一个通用的特征提取器类,当使用 AutoFeatureExtractor.from_pretrained() 类方法创建时,它将被实例化为库中的特征提取器类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练 feature_extractor 的模型 ID
    • 一个目录的路径,该目录包含使用 save_pretrained() 方法保存的特征提取器文件,例如 ./my_model_directory/
    • 保存的特征提取器 JSON 文件的路径或 URL,例如 ./my_model_directory/preprocessor_config.json
  • cache_dir (stros.PathLike, 可选的) — 如果不应使用标准缓存,则下载的预训练模型特征提取器应缓存到的目录路径。
  • force_download (bool, 可选的, 默认为 False) — 是否强制(重新)下载特征提取器文件,并覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选的) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. 代理用于每个请求。
  • token (strbool, 可选的) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True,将使用运行 huggingface-cli login 时生成的令牌(存储在 ~/.huggingface 中)。
  • revision (str, 可选的, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, 可选的, 默认为 False) — 如果为 False,则此函数仅返回最终的特征提取器对象。如果为 True,则此函数返回 Tuple(feature_extractor, unused_kwargs),其中 unused_kwargs 是一个字典,由键/值对组成,其键不是特征提取器属性:即 kwargs 中未用于更新 feature_extractor 的部分,否则将被忽略。
  • trust_remote_code (bool, 可选的, 默认为 False) — 是否允许 Hub 上自定义模型及其自身的建模文件。此选项仅应在您信任的仓库中设置为 True,并且您已阅读过代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • kwargs (Dict[str, Any], 可选的) — kwargs 中任何键是特征提取器属性的值将用于覆盖加载的值。关于键不是特征提取器属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表实例化库中的特征提取器类之一。

要实例化的特征提取器类是基于配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它缺失时,通过回退到使用 pretrained_model_name_or_path 上的模式匹配来选择。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoFeatureExtractor

>>> # Download feature extractor from huggingface.co and cache.
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")

>>> # If feature extractor files are in a directory (e.g. feature extractor was saved using *save_pretrained('./test/saved_model/')*)
>>> # feature_extractor = AutoFeatureExtractor.from_pretrained("./test/saved_model/")

注册

< >

( config_class feature_extractor_class exist_ok = False )

参数

  • config_class (PretrainedConfig) — 与要注册的模型对应的配置。
  • feature_extractor_class (FeatureExtractorMixin) — 要注册的特征提取器。

为此类注册一个新的特征提取器。

AutoImageProcessor

transformers.AutoImageProcessor

< >

( )

这是一个通用图像处理器类,当使用 AutoImageProcessor.from_pretrained() 类方法创建时,它将被实例化为库中的图像处理器类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path *inputs **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 这可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练 image_processor 的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 方法保存的图像处理器文件,例如,./my_model_directory/
    • 一个保存的图像处理器 JSON 文件的路径或 URL,例如,./my_model_directory/preprocessor_config.json
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型图像处理器的目录路径,如果不想使用标准缓存目录,则应指定此项。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载图像处理器文件,并覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,用于按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • token (strbool, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True,将使用运行 huggingface-cli login 时生成的令牌(存储在 ~/.huggingface 中)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • use_fast (bool, 可选, 默认为 False) — 如果给定模型支持快速 torchvision 基础的图像处理器,则使用它。如果给定模型没有快速图像处理器,则返回普通的基于 numpy 的图像处理器。
  • return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False,则此函数仅返回最终的图像处理器对象。如果为 True,则此函数返回 Tuple(image_processor, unused_kwargs),其中 unused_kwargs 是一个字典,包含键/值对,这些键不是图像处理器属性:即 kwargs 中未用于更新 image_processor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应设置为 True,用于您信任的存储库,并且您已阅读其中的代码,因为它将在您的本地计算机上执行 Hub 上的代码。
  • image_processor_filename (str, 可选, 默认为 "config.json") — 模型目录中用于图像处理器配置的文件名。
  • kwargs (Dict[str, Any], 可选) — kwargs 中任何键是图像处理器属性的键值对,都将用于覆盖已加载的值。关于键值对的键不是图像处理器属性的行为,由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表实例化库中的一个图像处理器类。

要实例化的图像处理器类是基于配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者在缺少 model_type 属性时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoImageProcessor

>>> # Download image processor from huggingface.co and cache.
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")

>>> # If image processor files are in a directory (e.g. image processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # image_processor = AutoImageProcessor.from_pretrained("./test/saved_model/")

注册

< >

( config_class image_processor_class = None slow_image_processor_class = None fast_image_processor_class = None exist_ok = False )

参数

为此类注册一个新的图像处理器。

AutoProcessor

class transformers.AutoProcessor

< >

( )

这是一个通用处理器类,当使用 AutoProcessor.from_pretrained() 类方法创建时,它将被实例化为库中的处理器类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 模型仓库中托管的预训练 feature_extractor 的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 方法保存的处理器文件,例如,./my_model_directory/
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型特征提取器的目录路径,如果不想使用标准缓存。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载特征提取器文件并覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • token (strbool, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True,将使用运行 huggingface-cli login 时生成的令牌(存储在 ~/.huggingface 中)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False,则此函数仅返回最终的特征提取器对象。如果为 True,则此函数返回一个 Tuple(feature_extractor, unused_kwargs),其中 unused_kwargs 是一个字典,其中包含键/值对,这些键不是特征提取器属性:即,kwargs 中未用于更新 feature_extractor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地机器上执行 Hub 上存在的代码。
  • kwargs (Dict[str, Any], 可选) — kwargs 中任何键是特征提取器属性的值将用于覆盖加载的值。关于键/值对的行为,其键不是特征提取器属性,由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表实例化库中的一个处理器类。

要实例化的处理器类是根据配置对象的 model_type 属性选择的(可以作为参数传递,也可以从 pretrained_model_name_or_path 加载,如果可能)。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoProcessor

>>> # Download processor from huggingface.co and cache.
>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-base-960h")

>>> # If processor files are in a directory (e.g. processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # processor = AutoProcessor.from_pretrained("./test/saved_model/")

注册

< >

( config_class processor_class exist_ok = False )

参数

为此类注册一个新的处理器。

通用模型类

以下自动类可用于实例化没有特定 head 的基本模型类。

AutoModel

class transformers.AutoModel

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的基础模型类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的基础模型类之一。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从已保存的权重文件加载的状态字典。

    如果要从预训练配置创建模型但加载自己的权重,可以使用此选项。不过,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 目录的路径,如果应不使用标准缓存,则应在该目录中缓存下载的预训练模型配置。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config 而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键(对应于配置属性)将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的基础模型类之一。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModel.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModel

transformers.TFAutoModel

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的基础模型类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的基础模型类之一。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL (例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库和您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性对应,将用于使用提供的 kwargs 值覆盖所述属性。不与任何配置属性对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的基础模型类之一。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModel.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModel

class transformers.FlaxAutoModel

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的基础模型类之一。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的基础模型类之一。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上自定义模型文件中定义的自定义模型。 此选项仅应设置为 True,用于您信任的存储库以及您已阅读代码的存储库,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果提供了带 config 的配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性相对应,都将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的基础模型类之一。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModel.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

通用预训练类

以下自动类可用于实例化带有预训练头的模型。

AutoModelForPreTraining

class transformers.AutoModelForPreTraining

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有预训练头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有预训练头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上模型存储库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。 在这种情况下,from_tf 应设置为 True,并且应将配置对象作为 config 参数提供。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 用于替代从已保存权重文件加载的状态字典的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 下载的预训练模型配置应缓存到的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型中定义的模型文件。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。根据是否提供了 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForPreTraining.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForPreTraining

class transformers.TFAutoModelForPreTraining

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有预训练头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有预训练头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的 模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的 模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword 参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性相对应,将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForPreTraining.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForPreTraining

class transformers.FlaxAutoModelForPreTraining

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有预训练头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有预训练头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,预训练模型的模型 ID,托管在 huggingface.co 的模型仓库中。
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果应该不使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 通过协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型及其自己的建模文件中。此选项仅应为信任的存储库设置为 True,并且您已阅读其中的代码,因为它将在本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForPreTraining.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

自然语言处理

以下自动类适用于以下自然语言处理任务。

AutoModelForCausalLM

class transformers.AutoModelForCausalLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有因果语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个 tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的positional arguments, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 要使用的模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, 可选, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重 (参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,用于指定每个协议或端点的代理,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上定义的自定义模型在它们自己的建模文件中。 此选项仅应为设置为 True,用于您信任的存储库,并且您已阅读过其中的代码,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖所述属性。 与任何配置属性不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForCausalLM.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForCausalLM

class transformers.TFAutoModelForCausalLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有因果语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。 在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 用于缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。所有下载现在默认情况下尽可能恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的仓库且您已阅读代码的情况下设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的仓库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为会有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForCausalLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForCausalLM

class transformers.FlaxAutoModelForCausalLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有因果语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型是通过提供本地目录作为 pretrained_model_name_or_path 加载的,并且在目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 用于缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在它们自己的建模文件中定义。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分在不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性相对应,将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForCausalLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMaskedLM

class transformers.AutoModelForMaskedLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有掩码语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有掩码语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL(例如, ./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。当满足以下条件时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 一个状态字典,用于替代从已保存权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, optional, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且忽略。 现在,所有下载在可能的情况下都默认恢复。 将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, optional, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。 此选项仅应针对您信任并且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键(对应于配置属性)将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMaskedLM.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMaskedLM

class transformers.TFAutoModelForMaskedLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有掩码语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有掩码语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。 在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 下载的预训练模型配置应缓存到其中的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型文件中定义的自定义模型。 此选项仅应为信任的存储库和您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性相对应,都将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMaskedLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForMaskedLM

class transformers.FlaxAutoModelForMaskedLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有掩码语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有掩码语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如, ./pt_model/pytorch_model.bin)。 在这种情况下, from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 下载的预训练模型配置应缓存到其中的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上定义的自定义模型及其自身的建模文件。此选项应仅对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为会有所不同:

    • 如果使用 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键(对应于配置属性)将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForMaskedLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMaskGeneration

class transformers.AutoModelForMaskGeneration

< >

( *args **kwargs )

TFAutoModelForMaskGeneration

class transformers.TFAutoModelForMaskGeneration

< >

( *args **kwargs )

AutoModelForSeq2SeqLM

class transformers.AutoModelForSeq2SeqLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有序列到序列的语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有序列到序列的语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = AutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的位置参数可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 用于替代从已保存权重文件加载的 state dictionary。

    如果您想从预训练配置创建模型,但加载您自己的权重,则可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 下载的预训练模型配置应缓存到的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库设置为 True,并且您已阅读过代码,因为它将在您的本地机器上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分在不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数可选) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/t5_tf_model_config.json")
>>> model = AutoModelForSeq2SeqLM.from_pretrained(
...     "./tf_model/t5_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSeq2SeqLM

class transformers.TFAutoModelForSeq2SeqLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有序列到序列的语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有序列到序列的语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = TFAutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。在以下情况下,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, optional) — 如果不想使用标准缓存,则应将下载的预训练模型配置缓存到此目录的路径。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,都将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/t5_pt_model_config.json")
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained(
...     "./pt_model/t5_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSeq2SeqLM

class transformers.FlaxAutoModelForSeq2SeqLM

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有序列到序列的语言建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有序列到序列的语言建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = FlaxAutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的 模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下, from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。在以下情况下,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, optional) — 如果不想使用标准缓存,则应将下载的预训练模型配置缓存到此目录的路径。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — Whether or not to only look at local files (e.g., not try downloading the model).
  • revision (str, optional, defaults to "main") — The specific model version to use. It can be a branch name, a tag name, or a commit id, since we use a git-based system for storing models and other artifacts on huggingface.co, so revision can be any identifier allowed by git.
  • trust_remote_code (bool, optional, defaults to False) — Whether or not to allow for custom models defined on the Hub in their own modeling files. This option should only be set to True for repositories you trust and in which you have read the code, as it will execute code present on the Hub on your local machine.
  • code_revision (str, optional, defaults to "main") — The specific revision to use for the code on the Hub, if the code leaves in a different repository than the rest of the model. It can be a branch name, a tag name, or a commit id, since we use a git-based system for storing models and other artifacts on huggingface.co, so revision can be any identifier allowed by git.
  • kwargs (additional keyword arguments, optional) — Can be used to update the configuration object (after it being loaded) and initiate the model (e.g., output_attentions=True). Behaves differently depending on whether a config is provided or automatically loaded:

    • If a configuration is provided with config, **kwargs will be directly passed to the underlying model’s __init__ method (we assume all relevant updates to the configuration have already been done)
    • If a configuration is not provided, kwargs will be first passed to the configuration class initialization function (from_pretrained()). Each key of kwargs that corresponds to a configuration attribute will be used to override said attribute with the supplied kwargs value. Remaining keys that do not correspond to any configuration attribute will be passed to the underlying model’s __init__ function.

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/t5_pt_model_config.json")
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained(
...     "./pt_model/t5_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForSequenceClassification

class transformers.AutoModelForSequenceClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有序列分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有序列分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个 tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 用于替代从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。 在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任并已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性对应,将用于使用提供的 kwargs 值覆盖所述属性。不与任何配置属性对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSequenceClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSequenceClassification

class transformers.TFAutoModelForSequenceClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有序列分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有序列分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,pretrained model 的 model id,托管在 huggingface.co 的 model repo 中。
    • 目录 的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的定位参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用 pretrained model 的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 下载的 pretrained model 配置应缓存到的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则要用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为会有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递到底层模型的 __init__ 方法(我们假设配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递到底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSequenceClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSequenceClassification

class transformers.FlaxAutoModelForSequenceClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有序列分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有序列分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,指 huggingface.co 模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在它们自己的建模文件中定义。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递到底层模型的 __init__ 方法(我们假设配置的所有相关更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性对应,将用于使用提供的 kwargs 值覆盖该属性。不与任何配置属性对应的剩余键将传递到底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMultipleChoice

class transformers.AutoModelForMultipleChoice

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有 multiple choice 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带有多项选择头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,表示托管在 huggingface.co 模型仓库中的预训练模型的 模型 ID
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 TensorFlow 索引检查点文件 的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型 (使用预训练模型的 模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于替代从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 下载的预训练模型配置应缓存到的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,用于按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件 (例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义的模型在其自己的建模文件中定义。此选项仅应设置为 True,用于您信任的仓库,并且您已阅读其中的代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象 (在加载后) 并初始化模型 (例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,**kwargs 将直接传递到底层模型的 __init__ 方法 (我们假设配置的所有相关更新已经完成)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递到底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMultipleChoice.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMultipleChoice

class transformers.TFAutoModelForMultipleChoice

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有 multiple choice 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带有多项选择头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个 PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 当以下情况时,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则用于缓存下载的预训练模型配置的目录的路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义的模型在其自身的建模文件中定义。此选项应仅对您信任的仓库以及您已阅读代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码位于与模型其余部分不同的仓库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMultipleChoice.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForMultipleChoice

class transformers.FlaxAutoModelForMultipleChoice

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有 multiple choice 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带有多项选择头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, optional) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers 的 v5 版本中删除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义的模型在其自身的建模文件中定义。此选项应仅对您信任的仓库以及您已阅读代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码位于与模型其余部分不同的仓库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForNextSentencePrediction

class transformers.AutoModelForNextSentencePrediction

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有下一句预测头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有下一句预测头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 模型 ID
    • 一个指向 目录 的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件 的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 要使用的模型配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的 模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 用于代替从保存的权重文件加载的状态字典的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,则可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库且您已阅读代码的情况下设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数,可选) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果通过 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的模型类之一(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForNextSentencePrediction.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForNextSentencePrediction

class transformers.TFAutoModelForNextSentencePrediction

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有下一句预测头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有下一句预测头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如,./pt_model/pytorch_model.bin)。 在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型要慢。
  • model_args (额外的**位置参数**, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 在以下情况下,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。 此选项仅应为信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的**关键字参数**, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。 与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的模型类之一(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForNextSentencePrediction

class transformers.FlaxAutoModelForNextSentencePrediction

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有下一句预测头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有下一句预测头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,托管在 huggingface.co 模型仓库中的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型 (使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 目录的路径,如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否还返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库设置为 True,并且您已阅读过代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的模型类之一(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForTokenClassification

class transformers.AutoModelForTokenClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有 token classification 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有一个 token 分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForTokenClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForTokenClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该将配置对象作为 config 参数提供。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不想使用标准缓存,则应将下载的预训练模型配置缓存到此目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖现有缓存版本。
  • resume_download — 已弃用且忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许加载 Hub 上自定义模型文件定义的模型。 此选项应仅对您信任的代码仓库设置为 True,并且您已阅读过其中的代码,因为它会在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分存放在不同的仓库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。 根据是否提供了 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性相对应,将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带 token 分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForTokenClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForTokenClassification

class transformers.TFAutoModelForTokenClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有 token classification 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有一个 token 分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForTokenClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForTokenClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个 PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。 在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 在以下情况下,可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, optional, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 一个代理服务器字典,用于指定每个协议或端点的代理,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, optional, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, 默认为 False) — 是否允许 Hub 上自定义的模型在其自己的建模文件中定义。此选项应仅针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分在不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带 token 分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForTokenClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForTokenClassification

class transformers.FlaxAutoModelForTokenClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有 token classification 头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — Can be either:

    • A string, the model id of a pretrained model hosted inside a model repo on huggingface.co.
    • A path to a directory containing model weights saved using save_pretrained(), e.g., ./my_model_directory/.
    • A path or url to a PyTorch state_dict save file (e.g, ./pt_model/pytorch_model.bin). In this case, from_pt should be set to True and a configuration object should be provided as config argument. This loading path is slower than converting the PyTorch model in a TensorFlow model using the provided conversion scripts and loading the TensorFlow model afterwards.
  • model_args (additional positional arguments, optional) — Will be passed along to the underlying model __init__() method.
  • config (PretrainedConfig, optional) — Configuration for the model to use instead of an automatically loaded configuration. Configuration can be automatically loaded when:

    • The model is a model provided by the library (loaded with the model id string of a pretrained model).
    • The model was saved using save_pretrained() and is reloaded by supplying the save directory.
    • The model is loaded by supplying a local directory as pretrained_model_name_or_path and a configuration JSON file named config.json is found in the directory.
  • cache_dir (str or os.PathLike, optional) — Path to a directory in which a downloaded pretrained model configuration should be cached if the standard cache should not be used.
  • from_pt (bool, optional, defaults to False) — Load the model weights from a PyTorch checkpoint save file (see docstring of pretrained_model_name_or_path argument).
  • force_download (bool, optional, defaults to False) — Whether or not to force the (re-)download of the model weights and configuration files, overriding the cached versions if they exist.
  • resume_download — Deprecated and ignored. All downloads are now resumed by default when possible. Will be removed in v5 of Transformers.
  • proxies (Dict[str, str], optional) — 用于按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理服务器用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上自定义模型在它们自己的建模文件中定义。 此选项仅应针对您信任并且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键(对应于配置属性)将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带 token 分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForTokenClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForQuestionAnswering

class transformers.AutoModelForQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,预训练模型的模型 ID,托管在 huggingface.co 的模型仓库中。
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件 的路径或 URL (例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,则可以使用此选项。 不过,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖可能存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义的模型在其自己的建模文件中定义。 此选项仅应为信任的存储库设置为 True,并且您已阅读其中的代码,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设配置的所有相关更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForQuestionAnswering.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForQuestionAnswering

class transformers.TFAutoModelForQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中。 此选项仅应针对您信任的仓库以及您已阅读代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果与配置属性相对应,将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForQuestionAnswering.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForQuestionAnswering

class transformers.FlaxAutoModelForQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — pretrained_model_name_or_path (str or os.PathLike) — 可以是:

    • 一个字符串,表示 huggingface.co 上模型仓库中托管的预训练模型的 模型 ID
    • 一个指向 目录 的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • 指向 PyTorch state_dict 保存文件 的路径或 URL(例如 ./pt_model/pytorch_model.bin )。在这种情况下,应将 from_pt 设置为 True ,并且应将配置对象作为 config 参数提供。与使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型相比,此加载路径速度较慢。
  • model_args (其他位置参数, 可选) — model_args (additional positional arguments, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的 模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_pt (bool, 可选, defaults to False) — from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, defaults to False) — force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_downloadresume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'} 。代理在每个请求上使用。
  • output_loading_info(bool, 可选, defaults to False) — output_loading_info(bool, optional, defaults to False) — 是否还返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, defaults to False) — local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, defaults to "main") — revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标记名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, defaults to False) — trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型文件中定义的自定义模型。此选项仅应为设置为 True ,用于您信任的存储库,并且您已阅读过代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, defaults to "main") — code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标记名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True )。根据是否提供 config 或自动加载 config 而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递到底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained()) 。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForTextEncoding

class transformers.AutoModelForTextEncoding

< >

( *args **kwargs )

TFAutoModelForTextEncoding

class transformers.TFAutoModelForTextEncoding

< >

( *args **kwargs )

计算机视觉

以下自动类可用于以下计算机视觉任务。

AutoModelForDepthEstimation

class transformers.AutoModelForDepthEstimation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有深度估计头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有深度估计头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForDepthEstimation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForDepthEstimation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的 positional 参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以代替自动加载的配置。在以下情况下,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 用于代替从保存的权重文件加载的状态字典的状态字典。

    如果要从预训练配置创建模型但加载自己的权重,则可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 目录的路径,如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置。
  • from_tf (bool, optional, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], optional) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, 默认为 False) — 是否允许在 Hub 上自定义模型在其自己的建模文件中定义。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而行为不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有深度估计头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForDepthEstimation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForDepthEstimation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForDepthEstimation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForDepthEstimation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageClassification

class transformers.AutoModelForImageClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有图像分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带图像分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

从预训练模型实例化库中的一个模型类 (带图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForImageClassification

class transformers.TFAutoModelForImageClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有图像分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带图像分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 模型仓库中托管的预训练模型的 模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL(例如, ./pt_model/pytorch_model.bin)。在这种情况下, from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的positional参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型 (使用预训练模型的 模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在其自己的建模文件中定义 Hub 上的自定义模型。此选项仅应针对您信任的仓库以及您已阅读代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则要用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)并初始化模型(例如, output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForImageClassification

class transformers.FlaxAutoModelForImageClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有图像分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带图像分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,预训练模型的模型 ID,托管在 huggingface.co 上的模型仓库中。
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型要慢。
  • model_args (额外的 positional arguments, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖可能存在的缓存版本。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件 (例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中。此选项仅应设置为 True,用于您信任的存储库,并且您已阅读过代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分存放在不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForVideoClassification

class transformers.AutoModelForVideoClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有视频分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有视频分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVideoClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForVideoClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,预训练模型的模型 ID,托管在 huggingface.co 上的模型仓库中。
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 TensorFlow 索引检查点文件 的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后加载 PyTorch 模型要慢。
  • model_args (额外的 positional arguments, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以替代自动加载的配置。当满足以下条件时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 一个状态字典,用于替代从已保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 缓存已下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 一个代理服务器字典,用于按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个字典,其中包含缺失键、意外键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上以其自己的建模文件定义的自定义模型。此选项仅应在您信任的存储库中设置为 True,并且您已阅读其中的代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,都将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有视频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVideoClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVideoClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForVideoClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForVideoClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForKeypointDetection

class transformers.AutoModelForKeypointDetection

< >

( *args **kwargs )

AutoModelForMaskedImageModeling

class transformers.AutoModelForMaskedImageModeling

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有掩码图像建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有掩码图像建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedImageModeling

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMaskedImageModeling.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,托管在 huggingface.co 模型仓库中的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • TensorFlow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法的其他位置参数。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型ID字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到了名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 然而,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中。 此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分保留在不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有掩码图像建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedImageModeling

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMaskedImageModeling.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMaskedImageModeling

class transformers.TFAutoModelForMaskedImageModeling

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有掩码图像建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有掩码图像建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedImageModeling

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMaskedImageModeling.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。 在这种情况下,应将 from_pt 设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型ID字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到了名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在它们自己的建模文件中定义。此选项仅应针对您信任并在其中阅读过代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有掩码图像建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedImageModeling

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForObjectDetection

class transformers.AutoModelForObjectDetection

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有对象检测头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有对象检测头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForObjectDetection

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForObjectDetection.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件(例如,./tf_model/model.ckpt.index)的路径或 URL。在这种情况下,应将 from_tf 设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, 可选, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中。 此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于一个配置属性,都将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的一个模型类(带有对象检测头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForObjectDetection

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForObjectDetection.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForObjectDetection.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForObjectDetection.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageSegmentation

class transformers.AutoModelForImageSegmentation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有图像分割头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, optional) — 模型中使用的注意力实现方式(如果相关)。 可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)。 默认情况下,如果可用,SDPA 将用于 torch>=2.1.1。 否则,默认为手动 "eager" 实现。

从配置实例化库的模型类之一(带有图像分割头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。 在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理在每个请求上使用。
  • output_loading_info(bool, 可选, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中。 此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于一个配置属性,都将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有图像分割头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageToImage

class transformers.AutoModelForImageToImage

< >

( *args **kwargs )

AutoModelForSemanticSegmentation

class transformers.AutoModelForSemanticSegmentation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个语义分割头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有一个语义分割头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSemanticSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSemanticSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 用于代替从已保存的权重文件加载的状态字典的状态字典。

    如果要从预训练配置创建模型但加载自己的权重,则可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载都在可能的情况下默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上以其自己的建模文件定义的自定义模型。此选项仅应针对您信任并在其中阅读了代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。根据是否提供了 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有一个语义分割头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSemanticSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSemanticSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSemanticSegmentation

class transformers.TFAutoModelForSemanticSegmentation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个语义分割头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有一个语义分割头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSemanticSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSemanticSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上自定义的模型,这些模型在其自己的建模文件中定义。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供 config 或自动加载:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有一个语义分割头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSemanticSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForInstanceSegmentation

class transformers.AutoModelForInstanceSegmentation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有实例分割头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带有一个实例分割头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForInstanceSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForInstanceSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,表示托管在 huggingface.co 上的模型仓库中的预训练模型的 模型 ID
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件 的路径或 URL (例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型 (使用预训练模型的 模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制 (重新) 下载模型权重和配置文件,覆盖缓存的版本 (如果存在)。
  • resume_download — 已弃用且忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件 (例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上使用自定义模型,这些模型在它们自己的建模文件中定义。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword 参数, 可选) — 可用于更新配置对象 (在加载后) 并初始化模型 (例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为有所不同:

    • 如果使用 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法 (我们假设已经完成了对配置的所有相关更新)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类 (带有一个实例分割头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForInstanceSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForInstanceSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForInstanceSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForInstanceSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForUniversalSegmentation

class transformers.AutoModelForUniversalSegmentation

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类 (带有一个通用图像分割头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类 (带有一个通用图像分割头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForUniversalSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForUniversalSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,表示托管在 huggingface.co 上的模型仓库中的预训练模型的 模型 ID
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件 的路径或 URL (例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 状态字典,用于替代从已保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。 但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 目录路径,用于缓存下载的预训练模型配置,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,按协议或端点使用,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型文件中定义的自定义模型。此选项仅应为信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码在与模型其余部分不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有通用图像分割头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForUniversalSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForUniversalSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForUniversalSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForUniversalSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForZeroShotImageClassification

class transformers.AutoModelForZeroShotImageClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有零样本图像分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有零样本图像分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForZeroShotImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • TensorFlow 索引检查点文件的路径或 URL(例如, ./tf_model/model.ckpt.index)。在这种情况下, from_tf 应设置为 True ,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。 当满足以下条件时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 状态字典,用于替代从已保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。 但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 用于指定一个目录路径,下载的预训练模型配置应缓存到该目录中,以防不使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,用于指定按协议或端点使用的代理,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上自定义模型文件中定义的自定义模型。此选项仅应在您信任的仓库中设置为 True,并且您已阅读过其中的代码,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于指定 Hub 上代码的特定版本,如果代码与模型的其余部分位于不同的仓库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有 zero-shot 图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForZeroShotImageClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForZeroShotImageClassification

class transformers.TFAutoModelForZeroShotImageClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有零样本图像分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

  • config (PretrainedConfig) — 要实例化的模型类基于配置类选择:

  • attn_implementation (str, 可选) — 模型中要使用的注意力实现方式(如果相关)。可以是以下任何一种:"eager"(手动实现注意力),"sdpa"(使用 F.scaled_dot_product_attention),或 "flash_attention_2"(使用 Dao-AILab/flash-attention)。默认情况下,如果可用,对于 torch>=2.1.1 将使用 SDPA。否则,默认使用手动 "eager" 实现。

从配置实例化库的模型类之一(带有零样本图像分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForZeroShotImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForZeroShotImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型是通过提供本地目录作为 pretrained_model_name_or_path 加载的,并且在目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 用于指定一个目录路径,下载的预训练模型配置应缓存到该目录中,以防不使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在它们自己的建模文件中定义。 此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(在加载后)并初始化模型(例如, output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有 zero-shot 图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForZeroShotImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForZeroShotObjectDetection

class transformers.AutoModelForZeroShotObjectDetection

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有零样本对象检测头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有零样本对象检测头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotObjectDetection

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForZeroShotObjectDetection.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的 模型 ID
    • 目录 的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • tensorflow 索引检查点文件 的路径或 URL(例如, ./tf_model/model.ckpt.index)。 在这种情况下, from_tf 应设置为 True ,并且应将配置对象作为 config 参数提供。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 模型 ID 字符串加载)。
    • 模型已使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从已保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果应不使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许使用 Hub 上自定义的模型,这些模型在其自身的建模文件中定义。此选项仅应针对您信任的存储库设置为 True,并且在您已阅读代码的情况下使用,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖所述属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有零样本对象检测头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotObjectDetection

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

音频

以下自动类可用于以下音频任务。

AutoModelForAudioClassification

class transformers.AutoModelForAudioClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有音频分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有音频分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如, ./tf_model/model.ckpt.index)。 在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 然而,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型文件中定义的自定义模型。此选项应仅对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键(对应于配置属性)将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带音频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForAudioFrameClassification

class transformers.TFAutoModelForAudioClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有音频分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有音频分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForAudioClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForAudioClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许使用 Hub 上自定义的模型文件。 此选项应仅对您信任的仓库设置 True,并且您已阅读过其中的代码,因为它会在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — Hub 上代码的特定修订版本,如果代码与模型的其余部分放在不同的仓库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可以用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载配置而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,都将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带音频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForAudioClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForAudioClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

TFAutoModelForAudioFrameClassification

class transformers.AutoModelForAudioFrameClassification

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带音频帧(token)分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带音频帧(token)分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioFrameClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioFrameClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个 tensorflow 索引检查点文件的路径或 URL (例如,./tf_model/model.ckpt.index)。 在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。 当以下情况时,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 要使用的状态字典,而不是从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型,但加载您自己的权重,则可以使用此选项。 然而,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 如果不想使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。 现在,所有下载都在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], optional) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许使用 Hub 上自定义的模型文件。 此选项应仅对您信任的仓库设置 True,并且您已阅读过其中的代码,因为它会在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — Hub 上代码的特定修订版本,如果代码与模型的其余部分放在不同的仓库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可以用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 根据是否提供 config 或自动加载配置而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,都将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带音频帧(token)分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioFrameClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioFrameClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioFrameClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioFrameClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForCTC

class transformers.AutoModelForCTC

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个连接主义时间分类头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带连接主义时间分类头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForCTC

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForCTC.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个 tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,可以使用此选项。 在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库设置为 True,并且您已阅读其中的代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带连接主义时间分类头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForCTC

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForCTC.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForCTC.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForCTC.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForSpeechSeq2Seq

class transformers.AutoModelForSpeechSeq2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个序列到序列的语音到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True 并且应该提供一个配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到了名为 config.json 的配置文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上以其自己的建模文件定义的自定义模型。此选项仅应为信任的存储库设置 True,并且在您已阅读代码的情况下,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为因是否提供 config 或自动加载而异:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSpeechSeq2Seq

class transformers.TFAutoModelForSpeechSeq2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个序列到序列的语音到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即 huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。与使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型相比,此加载路径速度较慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 在以下情况下,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中移除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项应仅对您信任并且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword arguments,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSpeechSeq2Seq

class transformers.FlaxAutoModelForSpeechSeq2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有一个序列到序列的语音到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即 huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。与使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型相比,此加载路径速度较慢。
  • model_args (额外的 positional arguments,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 在以下情况下,可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers v5 中移除。
  • proxies (Dict[str, str], optional) — 用于按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在其自己的建模文件中定义。此选项仅应为信任的存储库设置为 True,并且您已阅读代码,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码保留在与模型其余部分不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,都将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有一个序列到序列的语音到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForAudioXVector

class transformers.AutoModelForAudioXVector

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有通过 x-vector 头的音频检索)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有通过 x-vector 头的音频检索)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioXVector

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioXVector.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是:

    • 一个字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如, ./my_model_directory/
    • 一个 tensorflow 索引检查点文件 的路径或 url (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法的其他位置参数。
  • config (PretrainedConfig, optional) — 用于模型的配置,以代替自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型已使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 状态字典,用于代替从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。但是,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], optional) — 用于按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果提供了带有 config 的配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性相对应,将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有通过 x-vector 头部的音频检索)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioXVector

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioXVector.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioXVector.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioXVector.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForTextToSpectrogram

class transformers.AutoModelForTextToSpectrogram

< >

( *args **kwargs )

AutoModelForTextToWaveform

class transformers.AutoModelForTextToWaveform

< >

( *args **kwargs )

多模态

以下自动类可用于以下多模态任务。

AutoModelForTableQuestionAnswering

class transformers.AutoModelForTableQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有表格问答头部)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有表格问答头部)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForTableQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google/tapas-base-finetuned-wtq")
>>> model = AutoModelForTableQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,huggingface.co 上模型仓库中托管的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 要使用的模型的配置,而不是自动加载的配置。当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从已保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性对应,都将用于使用提供的 kwargs 值覆盖所述属性。不与任何配置属性对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带表格问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForTableQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq")

>>> # Update configuration during loading
>>> model = AutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/tapas_tf_model_config.json")
>>> model = AutoModelForTableQuestionAnswering.from_pretrained(
...     "./tf_model/tapas_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForTableQuestionAnswering

class transformers.TFAutoModelForTableQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将实例化为库的模型类之一(带有表格问答头部)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有表格问答头部)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForTableQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google/tapas-base-finetuned-wtq")
>>> model = TFAutoModelForTableQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的 model id
    • 一个 directory 的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, optional) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在默认情况下,所有下载都在可能的情况下恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个键,如果与配置属性对应,都将用于使用提供的 kwargs 值覆盖所述属性。不与任何配置属性对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带表格问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForTableQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq")

>>> # Update configuration during loading
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/tapas_pt_model_config.json")
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained(
...     "./pt_model/tapas_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForDocumentQuestionAnswering

class transformers.AutoModelForDocumentQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有文档问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有文档问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForDocumentQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")
>>> model = AutoModelForDocumentQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库内的预训练模型的 模型 ID
    • 一个指向目录的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件 的路径或 URL (例如, ./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并在之后加载 PyTorch 模型要慢。
  • model_args (额外的 positional 参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从已保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。不过,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都默认恢复。将在 Transformers 的 v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义的模型在其自己的建模文件中定义。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的 keyword 参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。行为因是否提供 config 或自动加载而异:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的模型类之一(带有文档问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForDocumentQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")

>>> # Update configuration during loading
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/layoutlm_tf_model_config.json")
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained(
...     "./tf_model/layoutlm_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForDocumentQuestionAnswering

class transformers.TFAutoModelForDocumentQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有文档问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有文档问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForDocumentQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")
>>> model = TFAutoModelForDocumentQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个PyTorch state_dict 保存文件的路径或 URL (例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (额外的的位置参数,可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。当以下情况时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 目录的路径,在该目录中应缓存下载的预训练模型配置,如果不想使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中删除。
  • proxies (Dict[str, str], 可选) — 代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应为信任的存储库设置 True,并且您已阅读了代码,因为它将在本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载而表现不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设配置的所有相关更新都已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。与任何配置属性都不对应的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的模型类之一(带有文档问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForDocumentQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")

>>> # Update configuration during loading
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/layoutlm_pt_model_config.json")
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained(
...     "./pt_model/layoutlm_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForVisualQuestionAnswering

class transformers.AutoModelForVisualQuestionAnswering

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有视觉问答头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有视觉问答头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVisualQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
>>> model = AutoModelForVisualQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL (例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (额外的的位置参数,可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。当以下情况时,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 一个状态字典,用于替代从已保存权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。不过在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, optional) — 下载的预训练模型配置应缓存到的目录路径,如果不想使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖可能存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (Dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上定义的自定义模型在其自己的建模文件中存在。此选项仅应针对您信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 用于 Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的存储库中。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载 config,行为有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 的每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有视觉问答头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVisualQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")

>>> # Update configuration during loading
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/vilt_tf_model_config.json")
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained(
...     "./tf_model/vilt_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForVision2Seq

class transformers.AutoModelForVision2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有视觉到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有视觉到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如, ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,以代替自动加载的配置。在以下情况下,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], optional) — 用于替代从已保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型,但加载您自己的权重,则可以使用此选项。不过,在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (*`str` 或 `os.PathLike`*, *可选*) — 用于缓存已下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (*`bool`*, *可选*, 默认为 `False`*) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (*`bool`*, *可选*, 默认为 `False`*) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都会默认恢复。将在 Transformers v5 版本中移除。
  • proxies (*Dict[str, str]*, *可选*) — 一个代理服务器字典,用于指定按协议或端点使用的代理,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理将用于每个请求。
  • output_loading_info(*`bool`*, *可选*, 默认为 `False`*) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(*`bool`*, *可选*, 默认为 `False`*) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (*`str`*, *可选*, 默认为 `"main"`) — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 `revision` 可以是 git 允许的任何标识符。
  • trust_remote_code (*`bool`*, *可选*, 默认为 `False`*) — 是否允许使用 Hub 上定义的自定义模型,这些模型在其自身的建模文件中定义。 此选项应仅对您信任的仓库且您已阅读过其中的代码设置为 `True`,因为它会在您的本地计算机上执行 Hub 上的代码。
  • code_revision (*`str`*, *可选*, 默认为 `"main"`) — 如果代码与模型的其余部分位于不同的仓库中,则指定用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 `revision` 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, *可选*) — 可用于更新配置对象(在加载后)和初始化模型(例如,`output_attentions=True`)。 其行为取决于是否提供了 `config` 或自动加载了配置:

    • 如果使用 config 提供了配置,**kwargs** 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)
    • 如果未提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForVision2Seq.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForVision2Seq

class transformers.TFAutoModelForVision2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有视觉到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有视觉到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (*`str` 或 `os.PathLike`*) — 可以是:

    • 一个字符串,表示 huggingface.co 模型仓库中托管的预训练模型的 *模型 ID*。
    • 一个*目录*的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个 *PyTorch state_dict 保存文件*的路径或 URL (例如,./pt_model/pytorch_model.bin)。 在这种情况下,from_pt 应设置为 True,并且应将配置对象作为 config 参数提供。 此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并在之后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, *可选*) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, *可选*) — 用于模型的配置,以替代自动加载的配置。 在以下情况下,配置可以自动加载:

    • 模型是由库提供的模型(使用预训练模型的 *模型 ID* 字符串加载)。
    • 模型已使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置文件。
  • cache_dir (*`str` 或 `os.PathLike`*, *可选*) — 用于缓存已下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_pt (*`bool`*, *可选*, 默认为 `False`*) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (*`bool`*, *可选*, 默认为 `False`*) — 是否强制(重新)下载模型权重和配置文件,覆盖已缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。现在,所有下载在可能的情况下都会默认恢复。将在 Transformers v5 版本中移除。
  • proxies (*Dict[str, str]*, *可选*) — 一个代理服务器字典,用于指定按协议或端点使用的代理,例如, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理将用于每个请求。
  • output_loading_info(*`bool`*, *可选*, 默认为 `False`*) — 是否同时返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在其自己的建模文件中定义。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。根据是否提供 config 或自动加载配置,行为会有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设已完成对配置的所有相关更新)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForVision2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForVision2Seq

class transformers.FlaxAutoModelForVision2Seq

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库的模型类之一(带有视觉到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库的模型类之一(带有视觉到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是:

    • 字符串,托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID
    • 目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供配置对象作为 config 参数。此加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数,可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 要使用的模型配置,而不是自动加载的配置。在以下情况下,可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, optional) — 如果不应使用标准缓存,则应在其中缓存下载的预训练模型配置的目录的路径。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存版本(如果存在)。
  • resume_download — 已弃用并忽略。现在,所有下载都在可能的情况下默认恢复。将在 Transformers v5 中删除。
  • proxies (Dict[str, str], optional) — 要按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, optional, defaults to False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型,这些模型在其自己的建模文件中定义。此选项仅应针对您信任且已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的存储库中,则用于 Hub 上代码的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数,可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。 其行为方式取决于是否提供了 config 或自动加载了配置:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于一个配置属性,都将用于使用提供的 kwargs 值覆盖该属性。 其余不对应于任何配置属性的键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForVision2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForImageTextToText

class transformers.AutoModelForImageTextToText

< >

( *args **kwargs )

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的模型类之一(带有图像-文本到文本建模头)。

此类不能使用 __init__() 直接实例化(会抛出错误)。

from_config

< >

( **kwargs )

参数

从配置实例化库中的模型类之一(带有图像-文本到文本建模头)。

注意: 从其配置文件加载模型**不会**加载模型权重。它仅影响模型的配置。使用 from_pretrained() 加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageTextToText

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageTextToText.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,huggingface.co 上的模型仓库中托管的预训练模型的模型 ID
    • 一个目录的路径,其中包含使用 save_pretrained() 保存的模型权重,例如,./my_model_directory/
    • 一个tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。 在这种情况下,应将 from_tf 设置为 True,并应提供配置对象作为 config 参数。 此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • model_args (其他位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。 当以下情况时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在目录中找到了名为 config.json 的配置 JSON 文件。
  • state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从已保存权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载您自己的权重,则可以使用此选项。 但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 缓存下载的预训练模型配置的目录路径,如果不想使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖缓存的版本(如果存在)。
  • resume_download — 已弃用且被忽略。 现在,所有下载在可能的情况下默认恢复。 将在 Transformers v5 中删除。
  • proxies (Dict[str, str], 可选) — 一个代理服务器字典,用于按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否也返回一个字典,其中包含缺失的键、意外的键和错误消息。
  • local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。 此选项仅应为信任的存储库以及您已阅读代码的存储库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — Hub 上代码的特定修订版本,如果代码与模型的其余部分位于不同的仓库中。 它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,因此 revision 可以是 git 允许的任何标识符。
  • kwargs (附加的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如, output_attentions=True)。 根据是否提供 config 或自动加载 config 的方式有所不同:

    • 如果使用 config 提供了配置,则 **kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已经完成)
    • 如果未提供配置,则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。 kwargs 的每个键,如果对应于配置属性,将用于使用提供的 kwargs 值覆盖该属性。 不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库的模型类之一(带有图像-文本到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性(作为参数传递或从 pretrained_model_name_or_path 加载,如果可能)选择的,或者当它丢失时,通过回退到在 pretrained_model_name_or_path 上使用模式匹配来选择。

模型默认设置为评估模式,使用 model.eval() (例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageTextToText

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageTextToText.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageTextToText.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageTextToText.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )
< > 在 GitHub 上更新