Transformers 文档

自动类 (Auto Classes)

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

自动类 (Auto Classes)

在许多情况下,可以从您提供给 from_pretrained() 方法的预训练模型名称或路径中猜测出您想要使用的架构。自动类(AutoClasses)就是为此而生,它们可以根据预训练权重/配置/词汇表的名称/路径自动检索相关模型。

实例化 AutoConfigAutoModelAutoTokenizer 中的任何一个,都将直接创建一个相关架构的类。例如:

model = AutoModel.from_pretrained("google-bert/bert-base-cased")

将创建一个 BertModel 的实例模型。

每个任务和每个后端(PyTorch、TensorFlow 或 Flax)都有一个 AutoModel 类。

扩展自动类

每个自动类都有一个方法,可以用您的自定义类进行扩展。例如,如果您定义了一个自定义模型类 NewModel,请确保您有一个 NewModelConfig,然后您可以像这样将它们添加到自动类中:

from transformers import AutoConfig, AutoModel

AutoConfig.register("new-model", NewModelConfig)
AutoModel.register(NewModelConfig, NewModel)

然后您就可以像平常一样使用自动类了!

如果您的 NewModelConfigPretrainedConfig 的子类,请确保其 model_type 属性设置为您注册配置时使用的相同键(此处为 "new-model")。

同样,如果您的 NewModelPreTrainedModel 的子类,请确保其 config_class 属性设置为您注册模型时使用的相同类(此处为 NewModelConfig)。

AutoConfig

class transformers.AutoConfig

< >

( )

这是一个通用的配置类,当使用 from_pretrained() 类方法创建时,它将被实例化为库中的一个具体配置类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path: typing.Union[str, os.PathLike[str]] **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型配置的 模型 ID
    • 一个包含使用 save_pretrained() 方法或 save_pretrained() 方法保存的配置文件的 目录 路径,例如 ./my_model_directory/
    • 一个指向已保存配置 JSON 文件 的路径或 URL,例如 ./my_model_directory/configuration.json
  • cache_dir (str or os.PathLike, optional) — 如果不想使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,并覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 一个字典,包含按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, optional, defaults to False) — 如果为 False,则此函数仅返回最终的配置对象。

    如果为 True,则此函数返回一个 Tuple(config, unused_kwargs),其中 unused_kwargs 是一个字典,包含键不是配置属性的键/值对:即 kwargs 中未用于更新 config 且否则将被忽略的部分。

  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型定义在其自己的建模文件中。此选项仅应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • kwargs(additional keyword arguments, optional) — kwargs 中任何键是配置属性的值都将用于覆盖加载的值。对于键不是配置属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型配置中实例化库中的一个配置类。

要实例化的配置类是根据加载的配置对象的 model_type 属性选择的,或者当它缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来回退。

示例

>>> from transformers import AutoConfig

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-uncased")

>>> # Download configuration from huggingface.co (user-uploaded) and cache.
>>> config = AutoConfig.from_pretrained("dbmdz/bert-base-german-cased")

>>> # If configuration file is in a directory (e.g., was saved using *save_pretrained('./test/saved_model/')*).
>>> config = AutoConfig.from_pretrained("./test/bert_saved_model/")

>>> # Load a specific configuration file.
>>> config = AutoConfig.from_pretrained("./test/bert_saved_model/my_configuration.json")

>>> # Change some config attributes when loading a pretrained config.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-uncased", output_attentions=True, foo=False)
>>> config.output_attentions
True

>>> config, unused_kwargs = AutoConfig.from_pretrained(
...     "google-bert/bert-base-uncased", output_attentions=True, foo=False, return_unused_kwargs=True
... )
>>> config.output_attentions
True

>>> unused_kwargs
{'foo': False}

register

< >

( model_type config exist_ok = False )

参数

  • model_type (str) — 模型类型,如 “bert” 或 “gpt”。
  • config (PretrainedConfig) — 要注册的配置。

为此类注册一个新的配置。

AutoTokenizer

class transformers.AutoTokenizer

< >

( )

这是一个通用的分词器类,当使用 AutoTokenizer.from_pretrained() 类方法创建时,它将被实例化为库中的一个分词器类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path *inputs **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中预定义分词器的 模型 ID
    • 一个包含分词器所需词汇文件的 目录 路径,例如使用 save_pretrained() 方法保存的目录,例如 ./my_model_directory/
    • 当且仅当分词器只需要单个词汇文件时(如 Bert 或 XLNet),可以是一个指向单个已保存词汇文件的路径或 URL,例如:./my_model_directory/vocab.txt。(不适用于所有派生类)
  • inputs (其他位置参数, 可选) — 将传递给分词器的 `__init__()` 方法。
  • config (PretrainedConfig, 可选) — 用于确定要实例化的分词器类的配置对象。
  • cache_dir (str or os.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型配置应缓存到的目录路径。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,并覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • subfolder (str, 可选) — 如果相关文件位于 huggingface.co 上的模型仓库的子文件夹中(例如,对于 facebook/rag-token-base),请在此处指定。
  • use_fast (bool, 可选, 默认为 True) — 如果给定模型支持,则使用基于 Rust 的快速分词器。如果给定模型没有可用的快速分词器,则返回普通的基于 Python 的分词器。
  • tokenizer_type (str, 可选) — 要加载的分词器类型。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上使用其自定义建模文件定义的模型。此选项只应为您信任且已阅读其代码的仓库设置为 `True`,因为它将在您的本地计算机上执行 Hub 上的代码。
  • kwargs (其他关键字参数, 可选) — 将传递给分词器的 `__init__()` 方法。可用于设置特殊标记,如 `bos_token`, `eos_token`, `unk_token`, `sep_token`, `pad_token`, `cls_token`, `mask_token`, `additional_special_tokens`。更多详情请参阅 `__init__()` 中的参数。

从预训练模型的词汇表中实例化库中的一个分词器类。

要实例化的分词器类是根据配置对象(作为参数传递或尽可能从 `pretrained_model_name_or_path` 加载)的 `model_type` 属性来选择的,或者当该属性缺失时,则通过对 `pretrained_model_name_or_path` 进行模式匹配来回退选择。

示例

>>> from transformers import AutoTokenizer

>>> # Download vocabulary from huggingface.co and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")

>>> # Download vocabulary from huggingface.co (user-uploaded) and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-german-cased")

>>> # If vocabulary files are in a directory (e.g. tokenizer was saved using *save_pretrained('./test/saved_model/')*)
>>> # tokenizer = AutoTokenizer.from_pretrained("./test/bert_saved_model/")

>>> # Download vocabulary from huggingface.co and define model-specific arguments
>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/roberta-base", add_prefix_space=True)

register

< >

( config_class slow_tokenizer_class = None fast_tokenizer_class = None exist_ok = False )

参数

  • config_class (PretrainedConfig) — 与要注册的模型相对应的配置。
  • slow_tokenizer_class (PretrainedTokenizer, 可选) — 要注册的慢速分词器。
  • fast_tokenizer_class (PretrainedTokenizerFast, 可选) — 要注册的快速分词器。

在此映射中注册一个新的分词器。

AutoFeatureExtractor

class transformers.AutoFeatureExtractor

< >

( )

这是一个通用的特征提取器类,当使用 AutoFeatureExtractor.from_pretrained() 类方法创建时,它将被实例化为库中的一个特征提取器类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中预训练特征提取器的 模型 ID
    • 一个包含使用 save_pretrained() 方法保存的特征提取器文件的 目录 路径,例如,./my_model_directory/
    • 一个指向已保存的特征提取器 JSON 文件 的路径或 URL,例如,./my_model_directory/preprocessor_config.json
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型特征提取器应缓存到的目录路径。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载特征提取器文件,并覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 一个用于按协议或端点指定代理服务器的字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • token (strbool, 可选) — 用于远程文件的 HTTP Bearer 授权的 token。如果为 True,将使用运行 huggingface-cli login 时生成的 token(存储在 ~/.huggingface 中)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False,则此函数仅返回最终的特征提取器对象。如果为 True,则此函数返回一个 Tuple(feature_extractor, unused_kwargs),其中 *unused_kwargs* 是一个字典,包含其键不是特征提取器属性的键/值对:即 kwargs 中未用于更新 feature_extractor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • kwargs (dict[str, Any], 可选) — `kwargs` 中任何键是特征提取器属性的值将用于覆盖加载的值。对于键 *不是* 特征提取器属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表中实例化库中的一个特征提取器类。

要实例化的特征提取器类是根据配置对象(作为参数传递或尽可能从 `pretrained_model_name_or_path` 加载)的 `model_type` 属性选择的,或者当它缺失时,通过回退到对 `pretrained_model_name_or_path` 进行模式匹配来选择。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoFeatureExtractor

>>> # Download feature extractor from huggingface.co and cache.
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")

>>> # If feature extractor files are in a directory (e.g. feature extractor was saved using *save_pretrained('./test/saved_model/')*)
>>> # feature_extractor = AutoFeatureExtractor.from_pretrained("./test/saved_model/")

register

< >

( config_class feature_extractor_class exist_ok = False )

参数

  • config_class (PretrainedConfig) — 与要注册的模型相对应的配置。
  • feature_extractor_class (FeatureExtractorMixin) — 要注册的特征提取器。

为此类注册一个新的特征提取器。

AutoImageProcessor

class transformers.AutoImageProcessor

< >

( )

这是一个通用的图像处理器类,当使用 AutoImageProcessor.from_pretrained() 类方法创建时,它将被实例化为库中的一个图像处理器类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path *inputs **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 这可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练 image_processor 的 *模型 ID*。
    • 一个包含使用 save_pretrained() 方法保存的图像处理器文件的 *目录* 路径,例如 ./my_model_directory/
    • 一个指向已保存的图像处理器 JSON *文件* 的路径或 URL,例如 ./my_model_directory/preprocessor_config.json
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,将下载的预训练模型图像处理器缓存到的目录路径。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载图像处理器文件并覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 一个用于按协议或端点指定代理服务器的字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • token (strbool, 可选) — 用于远程文件的 HTTP Bearer 授权的 token。如果为 True,将使用运行 huggingface-cli login 时生成的 token(存储在 ~/.huggingface 中)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • use_fast (bool, 可选, 默认为 False) — 如果给定模型支持,则使用基于 torchvision 的快速图像处理器。如果给定模型没有快速图像处理器,则返回基于 numpy 的普通图像处理器。
  • return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False,则此函数仅返回最终的图像处理器对象。如果为 True,则此函数返回一个 Tuple(image_processor, unused_kwargs),其中 *unused_kwargs* 是一个字典,包含其键不是图像处理器属性的键/值对:即 kwargs 中未用于更新 image_processor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • image_processor_filename (str, 可选, 默认为 "config.json") — 模型目录中用于图像处理器配置的文件名。
  • kwargs (dict[str, Any], 可选) — `kwargs` 中任何键是图像处理器属性的值将用于覆盖加载的值。对于键 *不是* 图像处理器属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表中实例化库中的一个图像处理器类。

要实例化的图像处理器类是根据配置对象(作为参数传递或尽可能从 `pretrained_model_name_or_path` 加载)的 `model_type` 属性选择的,或者当它缺失时,通过回退到对 `pretrained_model_name_or_path` 进行模式匹配来选择。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoImageProcessor

>>> # Download image processor from huggingface.co and cache.
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")

>>> # If image processor files are in a directory (e.g. image processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # image_processor = AutoImageProcessor.from_pretrained("./test/saved_model/")

register

< >

( config_class image_processor_class = None slow_image_processor_class = None fast_image_processor_class = None exist_ok = False )

参数

为此类注册一个新的图像处理器。

AutoVideoProcessor

class transformers.AutoVideoProcessor

< >

( )

这是一个通用的视频处理器类,当使用 AutoVideoProcessor.from_pretrained() 类方法创建时,它将被实例化为库中的一个视频处理器类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path *inputs **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练 video_processor 的 model id
    • 包含使用 save_pretrained() 方法保存的视频处理器文件的目录路径,例如 ./my_model_directory/
    • 已保存的视频处理器 JSON 文件的路径或 URL,例如 ./my_model_directory/preprocessor_config.json
  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型视频处理器应缓存到的目录路径。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载视频处理器文件并覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • token (str or bool, optional) — 用于远程文件的 HTTP Bearer 授权的令牌。如果为 True,将使用运行 huggingface-cli login 时生成的令牌(存储在 ~/.huggingface 中)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, optional, defaults to False) — 如果为 False,则此函数仅返回最终的视频处理器对象。如果为 True,则此函数返回一个 Tuple(video_processor, unused_kwargs),其中 unused_kwargs 是一个字典,包含其键不是视频处理器属性的键/值对:即 kwargs 中未用于更新 video_processor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • kwargs (dict[str, Any], optional) — kwargs 中任何键是视频处理器属性的值将用于覆盖加载的值。对于键不是视频处理器属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表中实例化库中的一个视频处理器类。

要实例化的视频处理器类是根据 config 对象的 model_type 属性选择的(可以作为参数传递,也可以从 pretrained_model_name_or_path 加载),或者在缺少该属性时,通过对 pretrained_model_name_or_path 进行模式匹配来回退选择。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoVideoProcessor

>>> # Download video processor from huggingface.co and cache.
>>> video_processor = AutoVideoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")

>>> # If video processor files are in a directory (e.g. video processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # video_processor = AutoVideoProcessor.from_pretrained("./test/saved_model/")

register

< >

config_class video_processor_class exist_ok = False

参数

为此类注册一个新的视频处理器。

AutoProcessor

class transformers.AutoProcessor

< >

( )

这是一个通用的处理器类,当使用 AutoProcessor.from_pretrained() 类方法创建时,它将被实例化为库中的一个处理器类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_pretrained

< >

( pretrained_model_name_or_path **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练 feature_extractor 的 model id
    • 包含使用 save_pretrained() 方法保存的处理器文件的目录路径,例如 ./my_model_directory/
  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型特征提取器应缓存到的目录路径。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载特征提取器文件并覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • token (str or bool, optional) — 用于远程文件的 HTTP Bearer 授权的令牌。如果为 True,将使用运行 huggingface-cli login 时生成的令牌(存储在 ~/.huggingface 中)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • return_unused_kwargs (bool, optional, defaults to False) — 如果为 False,则此函数仅返回最终的特征提取器对象。如果为 True,则此函数返回一个 Tuple(feature_extractor, unused_kwargs),其中 unused_kwargs 是一个字典,包含其键不是特征提取器属性的键/值对:即 kwargs 中未用于更新 feature_extractor 且在其他情况下被忽略的部分。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • kwargs (dict[str, Any], optional) — kwargs 中任何键是特征提取器属性的值将用于覆盖加载的值。对于键不是特征提取器属性的键/值对的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表中实例化库中的一个处理器类。

要实例化的处理器类是根据 config 对象的 model_type 属性选择的(可以作为参数传递,也可以从 pretrained_model_name_or_path 加载)。

当您想使用私有模型时,需要传递 token=True

示例

>>> from transformers import AutoProcessor

>>> # Download processor from huggingface.co and cache.
>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-base-960h")

>>> # If processor files are in a directory (e.g. processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # processor = AutoProcessor.from_pretrained("./test/saved_model/")

register

< >

config_class processor_class exist_ok = False

参数

为此类注册一个新的处理器。

通用模型类

以下自动类可用于实例化没有特定头部的基础模型类。

AutoModel

class transformers.AutoModel

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个基础模型类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

通过配置实例化一个库中的基础模型类。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *TensorFlow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是由库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供一个本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了一个名为 config.json 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 用于替代从已保存权重文件加载的状态字典。

    如果你想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 用于按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的、存在于其自身建模文件中的自定义模型。此选项只应为受信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则指定要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个基础模型类。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModel.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModel

class transformers.TFAutoModel

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个基础模型类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

通过配置实例化一个库中的基础模型类。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如 ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。与使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型相比,这种加载路径较慢。
  • model_args (额外的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应对您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码与模型的其余部分位于不同的仓库中,要使用的特定代码版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个基础模型类。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModel.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModel

class transformers.FlaxAutoModel

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个基础模型类。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

通过配置实例化一个库中的基础模型类。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModel

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModel.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如 ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。与使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型相比,这种加载路径较慢。
  • model_args (额外的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应对您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码与模型的其余部分位于不同的仓库中,要使用的特定代码版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个基础模型类。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModel

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModel.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModel.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModel.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

通用预训练类

以下自动类可用于实例化带有预训练头的模型。

AutoModelForPreTraining

class transformers.AutoModelForPreTraining

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有预训练头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有预训练头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 TensorFlow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于替代从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 Git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 Git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 Git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 Git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个与配置属性对应的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForPreTraining.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForPreTraining

class transformers.TFAutoModelForPreTraining

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有预训练头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有预训练头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都默认支持断点续传。此参数将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个字典,用于指定按协议或端点使用的代理服务器,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将被传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForPreTraining.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForPreTraining

class transformers.FlaxAutoModelForPreTraining

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有预训练头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有预训练头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForPreTraining

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForPreTraining.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到名为 *config.json* 的配置 JSON 文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都默认支持断点续传。此参数将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个字典,用于指定按协议或端点使用的代理服务器,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将被传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有预训练头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForPreTraining

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForPreTraining.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForPreTraining.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

自然语言处理

以下自动类可用于以下自然语言处理任务。

AutoModelForCausalLM

class transformers.AutoModelForCausalLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有因果语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个*tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供一个本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能时都会默认续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应为受信任的且您已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForCausalLM.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForCausalLM

class transformers.TFAutoModelForCausalLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有因果语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 *model id*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(通过预训练模型的 *model id* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录来重新加载。
    • 通过将本地目录作为 pretrained_model_name_or_path 提供来加载模型,并且在目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则使用 Hub 上代码的特定版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForCausalLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForCausalLM

class transformers.FlaxAutoModelForCausalLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有因果语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有因果语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForCausalLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForCausalLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 *model id*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(通过预训练模型的 *model id* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录来重新加载。
    • 通过将本地目录作为 pretrained_model_name_or_path 提供来加载模型,并且在目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则使用 Hub 上代码的特定版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有因果语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForCausalLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForCausalLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForCausalLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMaskedLM

class transformers.AutoModelForMaskedLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有掩码语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有掩码语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 *model id*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow index checkpoint file* 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将沿底层模型的 __init__() 方法传递。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 用于替代从已保存权重文件加载的状态字典的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,则可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项仅应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则要为 Hub 上的代码使用的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMaskedLM.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMaskedLM

class transformers.TFAutoModelForMaskedLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有掩码语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有掩码语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将沿底层模型的 __init__() 方法传递。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项仅应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则要为 Hub 上的代码使用的特定修订版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMaskedLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForMaskedLM

class transformers.FlaxAutoModelForMaskedLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有掩码语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有掩码语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMaskedLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForMaskedLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将沿底层模型的 __init__() 方法传递。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (stros.PathLike可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool可选,默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool可选,默认为 False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str]可选) — 用于按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选,默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str可选,默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool可选,默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str可选,默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定在 Hub 上使用的代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMaskedLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForMaskedLM.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForMaskedLM.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMaskGeneration

class transformers.AutoModelForMaskGeneration

< >

*args **kwargs

TFAutoModelForMaskGeneration

class transformers.TFAutoModelForMaskGeneration

< >

*args **kwargs

AutoModelForSeq2SeqLM

class transformers.AutoModelForSeq2SeqLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有序列到序列语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列到序列语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = AutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的模型 ID
    • 包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (附加位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选项。

  • cache_dir (stros.PathLike可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool可选,默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool可选,默认为 False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下默认恢复。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str]可选) — 用于按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选,默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str可选,默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool可选,默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str可选,默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定在 Hub 上使用的代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/t5_tf_model_config.json")
>>> model = AutoModelForSeq2SeqLM.from_pretrained(
...     "./tf_model/t5_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSeq2SeqLM

class transformers.TFAutoModelForSeq2SeqLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有序列到序列语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列到序列语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = TFAutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的 目录 路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 一个根据协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/t5_pt_model_config.json")
>>> model = TFAutoModelForSeq2SeqLM.from_pretrained(
...     "./pt_model/t5_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSeq2SeqLM

class transformers.FlaxAutoModelForSeq2SeqLM

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有序列到序列语言建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列到序列语言建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSeq2SeqLM

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-t5/t5-base")
>>> model = FlaxAutoModelForSeq2SeqLM.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的 目录 路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以代替自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 当不应使用标准缓存时,下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 一个根据协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语言建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSeq2SeqLM

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-base", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/t5_pt_model_config.json")
>>> model = FlaxAutoModelForSeq2SeqLM.from_pretrained(
...     "./pt_model/t5_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForSequenceClassification

class transformers.AutoModelForSequenceClassification

< >

*args **kwargs

这是一个通用的模型类,在使用 from_pretrained() 类方法或 from_config() 类方法创建时,将被实例化为库中的某个模型类(带序列分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*TensorFlow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 `from_tf` 设置为 `True`,并应提供一个配置对象作为 `config` 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数,可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供一个本地目录作为 `pretrained_model_name_or_path` 来加载模型,并且在目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 `True`,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数,可选) — 可用于更新配置对象(加载后)和初始化模型(例如,`output_attentions=True`)。其行为根据是否提供了 `config` 或自动加载而有所不同:

    • 如果通过 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数(from_pretrained())。`kwargs` 中与配置属性对应的每个键将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSequenceClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSequenceClassification

class transformers.TFAutoModelForSequenceClassification

< >

*args **kwargs

这是一个通用的模型类,在使用 from_pretrained() 类方法或 from_config() 类方法创建时,将被实例化为库中的某个模型类(带序列分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的模型 ID字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载了配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSequenceClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSequenceClassification

class transformers.FlaxAutoModelForSequenceClassification

< >

*args **kwargs

这是一个通用的模型类,在使用 from_pretrained() 类方法或 from_config() 类方法创建时,将被实例化为库中的某个模型类(带序列分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有序列分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSequenceClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForSequenceClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的 positional 参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的模型 ID字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载了配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSequenceClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForSequenceClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForMultipleChoice

class transformers.AutoModelForMultipleChoice

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有选择题头部)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有多项选择头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个*tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能时都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型定义在其自己的建模文件中。此选项只应为 True 设置为您信任且已阅读其代码的仓库,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的存储库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMultipleChoice.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMultipleChoice

class transformers.TFAutoModelForMultipleChoice

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有选择题头部)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有多项选择头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后再加载 TensorFlow 模型要慢。
  • model_args (其他位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能时都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上自定义模型定义在其自己的建模文件中。此选项只应为 True 设置为您信任且已阅读其代码的仓库,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的存储库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMultipleChoice.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForMultipleChoice

class transformers.FlaxAutoModelForMultipleChoice

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有选择题头部)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有多项选择头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMultipleChoice

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForMultipleChoice.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不想使用标准缓存,可以指定一个目录路径,用于缓存下载的预训练模型配置。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个协议或端点使用的代理服务器字典,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则使用 Hub 上的特定代码版本。可以是一个分支名、一个标签名或一个提交ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有多项选择头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForMultipleChoice

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForMultipleChoice.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForNextSentencePrediction

class transformers.AutoModelForNextSentencePrediction

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有下一句预测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有下一句预测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向*tensorflow索引检查点文件*的路径或URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (str or os.PathLike, 可选) — 如果不想使用标准缓存,可以指定一个目录路径,用于缓存下载的预训练模型配置。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个协议或端点使用的代理服务器字典,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则使用 Hub 上的特定代码版本。可以是一个分支名、一个标签名或一个提交ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForNextSentencePrediction.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForNextSentencePrediction

class transformers.TFAutoModelForNextSentencePrediction

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有下一句预测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有下一句预测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。当满足以下条件时,可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不想使用标准缓存,可以指定一个目录路径,用于缓存下载的预训练模型配置。
  • from_pt (bool, optional, defaults to False) — 是否从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为因是否提供了 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForNextSentencePrediction.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForNextSentencePrediction

class transformers.FlaxAutoModelForNextSentencePrediction

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有下一句预测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有下一句预测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForNextSentencePrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForNextSentencePrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的 目录 路径,例如 ./my_model_directory/
    • 一个 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的 模型 ID 字符串加载)。
    • 该模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, optional, defaults to False) — 是否从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为因是否提供了 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有下一句预测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForNextSentencePrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForNextSentencePrediction.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForTokenClassification

class transformers.AutoModelForTokenClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有词元分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的某个模型类(带有词元分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForTokenClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForTokenClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的 目录 路径,例如 ./my_model_directory/
    • 一个 tensorflow 索引检查点文件 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录进行重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果你想从预训练的配置中创建一个模型,但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能时都默认支持断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果未提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有词元分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForTokenClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForTokenClassification

class transformers.TFAutoModelForTokenClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有词元分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的某个模型类(带有词元分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForTokenClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForTokenClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 字符串,即托管在 huggingface.co 上模型仓库中的预训练模型的*模型 ID*。
    • 包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型并随后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录进行重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能时都默认支持断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果未提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有词元分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForTokenClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForTokenClassification

class transformers.FlaxAutoModelForTokenClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有词元分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的某个模型类(带有词元分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForTokenClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForTokenClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (stros.PathLike, optional) — 如果不想使用标准缓存,可以指定一个目录路径,用于缓存下载的预训练模型配置。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 一个按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地机器上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, optional) — 可用于更新配置对象(在加载后)并初始化模型(例如,output_attentions=True)。行为会根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有词元分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForTokenClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForTokenClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForTokenClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForQuestionAnswering

class transformers.AutoModelForQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个 *TensorFlow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应该设置为 True,并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果你想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, optional) — 如果不想使用标准缓存,可以指定一个目录路径,用于缓存下载的预训练模型配置。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 一个按协议或端点使用的代理服务器字典,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他构件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他构件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForQuestionAnswering.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForQuestionAnswering

class transformers.TFAutoModelForQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能时都默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他构件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他构件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForQuestionAnswering.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForQuestionAnswering

class transformers.FlaxAutoModelForQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, optional) — 目录路径,如果不想使用标准缓存,则下载的预训练模型配置将缓存到此目录中。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], optional) — 代理服务器字典,用于按协议或端点指定代理,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。每次请求都会使用这些代理。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的其余键将被传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForQuestionAnswering.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForTextEncoding

class transformers.AutoModelForTextEncoding

< >

*args **kwargs

TFAutoModelForTextEncoding

class transformers.TFAutoModelForTextEncoding

< >

*args **kwargs

计算机视觉

以下 auto 类可用于以下计算机视觉任务。

AutoModelForDepthEstimation

class transformers.AutoModelForDepthEstimation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有深度估计头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有深度估计头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForDepthEstimation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForDepthEstimation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 tensorflow index checkpoint file 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (附加位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果你想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (str or os.PathLike, optional) — 目录路径,如果不想使用标准缓存,则下载的预训练模型配置将缓存到此目录中。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], optional) — 代理服务器字典,用于按协议或端点指定代理,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。每次请求都会使用这些代理。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为你信任且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设对配置的所有相关更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应于任何配置属性的其余键将被传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有深度估计头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForDepthEstimation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForDepthEstimation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForDepthEstimation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForDepthEstimation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageClassification

class transformers.AutoModelForImageClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有图像分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有图像分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 TensorFlow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义自定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从一个预训练模型中实例化库中的一个模型类(带有图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForImageClassification

class transformers.TFAutoModelForImageClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有图像分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有图像分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的模型 ID
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而非自动加载的配置。配置可以在以下情况下自动加载:

    • 该模型是库提供的模型(使用预训练模型的模型 ID 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义自定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从一个预训练模型中实例化库中的一个模型类(带有图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForImageClassification

class transformers.FlaxAutoModelForImageClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有图像分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化库中的一个模型类(带有图像分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *PyTorch state_dict 保存文件* 的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(通过预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则使用 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从一个预训练模型中实例化库中的一个模型类(带有图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForVideoClassification

class transformers.AutoModelForVideoClassification

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有视频分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置实例化库中的某个模型类(带有视频分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVideoClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForVideoClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件* 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(通过预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则使用 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有视频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVideoClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVideoClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForVideoClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForVideoClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForKeypointDetection

class transformers.AutoModelForKeypointDetection

< >

*args **kwargs

AutoModelForMaskedImageModeling

class transformers.AutoModelForMaskedImageModeling

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有掩码图像建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置实例化库中的某个模型类(带有掩码图像建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedImageModeling

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForMaskedImageModeling.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件* 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(通过预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 当不应使用标准缓存时,用于缓存下载的预训练模型配置的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 是否从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个根据协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其他部分位于不同的仓库中,指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码图像建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForMaskedImageModeling

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForMaskedImageModeling.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForMaskedImageModeling

class transformers.TFAutoModelForMaskedImageModeling

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有掩码图像建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置实例化库中的某个模型类(带有掩码图像建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedImageModeling

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForMaskedImageModeling.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 是否从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个根据协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其他部分位于不同的仓库中,指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有掩码图像建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForMaskedImageModeling

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForMaskedImageModeling.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForObjectDetection

class transformers.AutoModelForObjectDetection

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有目标检测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有目标检测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForObjectDetection

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForObjectDetection.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个 TensorFlow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选项。

  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 是否从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个根据协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其他部分位于不同的仓库中,指定要用于 Hub 上代码的特定修订版。它可以是分支名、标签名或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有目标检测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForObjectDetection

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForObjectDetection.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForObjectDetection.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForObjectDetection.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageSegmentation

class transformers.AutoModelForImageSegmentation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有图像分割头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, 可选) — 在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,SDPA 将用于 torch>=2.1.1。否则,默认是手动的 "eager" 实现。

根据配置实例化库中的一个模型类(带有图像分割头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 model id
    • 一个指向包含使用 save_pretrained() 保存的模型权重的目录的路径,例如 ./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过将本地目录作为 pretrained_model_name_or_path 提供来加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为那些您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。每个与配置属性对应的 kwargs 键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有图像分割头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForImageToImage

class transformers.AutoModelForImageToImage

< >

*args **kwargs

AutoModelForSemanticSegmentation

class transformers.AutoModelForSemanticSegmentation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有语义分割头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有语义分割头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSemanticSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSemanticSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 model id
    • 一个指向包含使用 save_pretrained() 保存的模型权重的目录的路径,例如 ./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过将本地目录作为 pretrained_model_name_or_path 提供来加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为那些您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类初始化函数 (from_pretrained())。每个与配置属性对应的 kwargs 键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有语义分割头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSemanticSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSemanticSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSemanticSegmentation

class transformers.TFAutoModelForSemanticSegmentation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有语义分割头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有语义分割头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSemanticSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSemanticSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型 ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向 *PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用它们自己的建模文件。此选项只应为那些您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码位于与模型其余部分不同的仓库中,则使用该代码的特定修订版。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有语义分割头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSemanticSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSemanticSegmentation.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForInstanceSegmentation

class transformers.AutoModelForInstanceSegmentation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有实例分割头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有实例分割头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForInstanceSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForInstanceSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型 ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于替代从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (str or os.PathLike, 可选) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用它们自己的建模文件。此选项只应为那些您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码位于与模型其余部分不同的仓库中,则使用该代码的特定修订版。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)和初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载配置:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有实例分割头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForInstanceSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForInstanceSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForInstanceSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForInstanceSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForUniversalSegmentation

class transformers.AutoModelForUniversalSegmentation

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有通用图像分割头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有通用图像分割头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForUniversalSegmentation

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForUniversalSegmentation.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的*模型 ID*。
    • 一个指向包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如:./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于替代从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (str or os.PathLike, 可选) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都默认支持断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为受信任且已阅读代码的仓库设置为 True,因为它将在本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则指定 Hub 上要使用的特定代码版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于以提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有通用图像分割头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForUniversalSegmentation

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForUniversalSegmentation.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForUniversalSegmentation.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForUniversalSegmentation.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForZeroShotImageClassification

class transformers.AutoModelForZeroShotImageClassification

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有零样本图像分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置中实例化库中的一个模型类(带有零样本图像分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForZeroShotImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个*tensorflow 索引检查点文件*的路径或 URL(例如 ./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 模型的配置,用于替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (str or os.PathLike, 可选) — 一个目录的路径,用于缓存下载的预训练模型配置,如果不想使用标准缓存目录。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都默认支持断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为受信任且已阅读代码的仓库设置为 True,因为它将在本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则指定 Hub 上要使用的特定代码版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于以提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有零样本图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForZeroShotImageClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForZeroShotImageClassification

class transformers.TFAutoModelForZeroShotImageClassification

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有零样本图像分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, 可选) — 在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,SDPA 将用于 torch>=2.1.1。否则,默认是手动的 "eager" 实现。

从配置中实例化库中的一个模型类(带有零样本图像分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForZeroShotImageClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForZeroShotImageClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个*PyTorch state_dict 保存文件*的路径或 URL(例如 ./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 模型的配置,用于替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置 JSON 文件。
  • cache_dir (str or os.PathLike, 可选) — 一个目录的路径,用于缓存下载的预训练模型配置,如果不想使用标准缓存目录。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都默认支持断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项只应为受信任且已阅读代码的仓库设置为 True,因为它将在本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则指定 Hub 上要使用的特定代码版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如 output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于以提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有零样本图像分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForZeroShotImageClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForZeroShotImageClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForZeroShotObjectDetection

class transformers.AutoModelForZeroShotObjectDetection

< >

*args **kwargs

这是一个通用模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有零样本目标检测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化一个库中的模型类(带有零样本对象检测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotObjectDetection

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForZeroShotObjectDetection.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件* 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 模型的配置,用于替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 用于代替从已保存的权重文件中加载的状态字典。

    如果你想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)和初始化模型(例如,output_attentions=True)。其行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个与配置属性对应的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化一个库中的模型类(带有零样本对象检测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForZeroShotObjectDetection

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

音频

以下自动类可用于以下音频任务。

AutoModelForAudioClassification

class transformers.AutoModelForAudioClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有音频分类头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化一个库中的模型类(带有音频分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件* 的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 模型的配置,用于替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 用于代替从已保存的权重文件中加载的状态字典。

    如果你想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地机器上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。可以是一个分支名、一个标签名或一个提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(在加载后)和初始化模型(例如,output_attentions=True)。其行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中每个与配置属性对应的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化一个库中的模型类(带有音频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForAudioFrameClassification

class transformers.TFAutoModelForAudioClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有音频分类头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置中实例化一个库中的模型类(带有音频分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForAudioClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForAudioClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向 *PyTorch state_dict 保存文件* 的路径或 URL(例如 ./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 模型的配置,用于替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (str or os.PathLike, optional) — 目录路径,如果不想使用标准缓存,下载的预训练模型配置将缓存到该目录中。
  • from_pt (bool, optional, defaults to False) — 从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,若存在缓存版本则覆盖它们。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都默认支持断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 一个字典,用于指定按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应在你信任的且已阅读过代码的仓库中设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果 Hub 上的代码与模型的其余部分不在同一个仓库中,要使用的特定代码版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化一个库中的模型类(带有音频分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForAudioClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForAudioClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForAudioClassification.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

TFAutoModelForAudioFrameClassification

class transformers.AutoModelForAudioFrameClassification

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有音频帧(词元)分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有音频帧(词元)分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioFrameClassification

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioFrameClassification.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 *模型 ID*。
    • 包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • *tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的 *模型 ID* 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从已保存的权重文件中加载的状态字典。

    如果您想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (str or os.PathLike, optional) — 目录路径,如果不想使用标准缓存,下载的预训练模型配置将缓存到该目录中。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,若存在缓存版本则覆盖它们。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都默认支持断点续传。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 一个字典,用于指定按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将用于每个请求。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型文件中定义模型。此选项只应在你信任的且已阅读过代码的仓库中设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果 Hub 上的代码与模型的其余部分不在同一个仓库中,要使用的特定代码版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为因是否提供 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有音频帧(词元)分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioFrameClassification

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioFrameClassification.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioFrameClassification.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioFrameClassification.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForCTC

class transformers.AutoModelForCTC

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的某个模型类(带有连接时序分类头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有连接时序分类头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForCTC

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForCTC.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即 huggingface.co 上模型仓库中托管的预训练模型的 *模型 ID*。
    • 包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • *tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的 *模型 ID* 字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从已保存的权重文件中加载的状态字典。

    如果您想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选择。

  • cache_dir (str or os.PathLike, optional) — 目录路径,如果不想使用标准缓存,下载的预训练模型配置将缓存到该目录中。
  • from_tf (bool, optional, defaults to False) — 是否从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则指定用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有连接主义时间分类头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForCTC

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForCTC.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForCTC.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForCTC.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForSpeechSeq2Seq

class transformers.AutoModelForSpeechSeq2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有序列到序列语音转文本建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法的其他位置参数。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 要使用的状态字典,而不是从保存的权重文件加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,则可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, optional, defaults to False) — 是否从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则指定用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (additional keyword arguments, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为方式根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键都将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForSpeechSeq2Seq.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForSpeechSeq2Seq

class transformers.TFAutoModelForSpeechSeq2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有序列到序列语音转文本建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*的路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型,然后再加载 TensorFlow 模型要慢。
  • model_args (additional positional arguments, optional) — 将传递给底层模型 __init__() 方法的其他位置参数。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。配置可以在以下情况下自动加载:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型使用 save_pretrained() 保存,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 *config.json* 的配置文件。
  • cache_dir (str or os.PathLike, optional) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, optional, defaults to False) — 是否从 PyTorch 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,如果存在缓存版本则覆盖它们。
  • resume_download — 已弃用并忽略。现在,所有下载在可能的情况下都会默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 一个用于按协议或端点指定代理服务器的字典,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为受信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为方式根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于覆盖该属性的值。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForSpeechSeq2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForSpeechSeq2Seq

class transformers.FlaxAutoModelForSpeechSeq2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有序列到序列语音转文本建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从配置实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSpeechSeq2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个*目录*的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个用于按协议或端点指定代理服务器的字典,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为受信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为方式根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于覆盖该属性的值。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有序列到序列语音转文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForSpeechSeq2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForSpeechSeq2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForAudioXVector

class transformers.AutoModelForAudioXVector

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有通过 x-vector 进行音频检索的头部)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有通过 x-vector 进行音频检索的头部)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioXVector

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioXVector.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个*目录*的路径,该目录包含使用 save_pretrained() 保存的模型权重,例如 ./my_model_directory/
    • 一个*tensorflow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,from_tf 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (附加位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 用于替代从已保存权重文件加载的状态字典的状态字典。

    如果您想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (str or os.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个用于按协议或端点指定代理服务器的字典,例如:{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为受信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码与模型的其余部分位于不同的仓库中,则指定要用于 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交ID,因为我们使用基于git的系统在huggingface.co上存储模型和其他工件,所以 revision 可以是git允许的任何标识符。
  • kwargs (附加关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为方式根据是否提供 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数 (from_pretrained())。kwargs 中与配置属性对应的每个键都将用于覆盖该属性的值。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有通过 x-vector 进行音频检索的头部)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioXVector

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioXVector.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioXVector.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioXVector.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForTextToSpectrogram

class transformers.AutoModelForTextToSpectrogram

< >

*args **kwargs

AutoModelForTextToWaveform

class transformers.AutoModelForTextToWaveform

< >

*args **kwargs

AutoModelForAudioTokenization

class transformers.AutoModelForAudioTokenization

< >

*args **kwargs

这是一个通用的模型类,当通过 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有一个通过码本进行音频分词的头部)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, optional) — 在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,对于 torch>=2.1.1,将使用 SDPA。否则,默认是手动的 "eager" 实现。

从配置中实例化库中的一个模型类(带有一个通过码本进行音频分词的头部)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForAudioTokenization

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForAudioTokenization.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个 *TensorFlow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供一个本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果你想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有一个通过码本进行音频分词的头部)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForAudioTokenization

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForAudioTokenization.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForAudioTokenization.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForAudioTokenization.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

多模态

以下自动类可用于以下多模态任务。

AutoModelForTableQuestionAnswering

class transformers.AutoModelForTableQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当通过 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有一个表格问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, optional) — 在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,对于 torch>=2.1.1,将使用 SDPA。否则,默认是手动的 "eager" 实现。

从配置中实例化库中的一个模型类(带有一个表格问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForTableQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google/tapas-base-finetuned-wtq")
>>> model = AutoModelForTableQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个 *TensorFlow 索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型,然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型通过提供一个本地目录作为 pretrained_model_name_or_path 加载,并且在该目录中找到了名为 *config.json* 的配置文件。
  • state_dict (dict[str, torch.Tensor], optional) — 一个状态字典,用于代替从保存的权重文件中加载的状态字典。

    如果你想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,你应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求时使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为你信任的且已阅读其代码的仓库设置为 True,因为它将在你的本地计算机上执行 Hub 上的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码与模型的其余部分位于不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为根据是否提供了 config 或自动加载而有所不同:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中每个对应于配置属性的键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有一个表格问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForTableQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq")

>>> # Update configuration during loading
>>> model = AutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/tapas_tf_model_config.json")
>>> model = AutoModelForTableQuestionAnswering.from_pretrained(
...     "./tf_model/tapas_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForTableQuestionAnswering

class transformers.TFAutoModelForTableQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当通过 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有一个表格问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, optional) — 在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,对于 torch>=2.1.1,将使用 SDPA。否则,默认是手动的 "eager" 实现。

从配置中实例化库中的一个模型类(带有一个表格问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForTableQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google/tapas-base-finetuned-wtq")
>>> model = TFAutoModelForTableQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个字典,包含按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则使用 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为因是否提供了 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型中实例化库中的一个模型类(带有一个表格问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForTableQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq")

>>> # Update configuration during loading
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained("google/tapas-base-finetuned-wtq", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/tapas_pt_model_config.json")
>>> model = TFAutoModelForTableQuestionAnswering.from_pretrained(
...     "./pt_model/tapas_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForDocumentQuestionAnswering

class transformers.AutoModelForDocumentQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有文档问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有文档问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForDocumentQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")
>>> model = AutoModelForDocumentQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 tensorflow 索引检查点文件的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 一个状态字典,用于替代从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否是更简单的选择。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个字典,包含按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则使用 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。行为因是否提供了 config 或自动加载而异:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新都已完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有文档问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForDocumentQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")

>>> # Update configuration during loading
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/layoutlm_tf_model_config.json")
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained(
...     "./tf_model/layoutlm_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForDocumentQuestionAnswering

class transformers.TFAutoModelForDocumentQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有文档问答头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有文档问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForDocumentQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")
>>> model = TFAutoModelForDocumentQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 模型仓库中的预训练模型的 model id
    • 一个包含使用 save_pretrained() 保存的模型权重的目录路径,例如 ./my_model_directory/
    • 一个指向 PyTorch state_dict 保存文件的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,应将 from_pt 设置为 True,并且应通过 config 参数提供一个配置对象。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型后再加载 TensorFlow 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,以替代自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的 model id 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在该目录中找到了名为 config.json 的配置文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(参见 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用且被忽略。现在所有下载在可能的情况下都会默认断点续传。将在 Transformers v5 版本中移除。
  • proxies (dict[str, str], 可选) — 一个字典,包含按协议或端点使用的代理服务器,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每个请求中使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义的自定义模型使用其自己的建模文件。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则使用 Hub 上代码的特定版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如 output_attentions=True)。其行为因是否提供了 `config` 或自动加载而异:

    • 如果通过 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数 (from_pretrained())。`kwargs` 中与配置属性对应的每个键都将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的其余键将被传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有文档问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForDocumentQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3")

>>> # Update configuration during loading
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained("impira/layoutlm-document-qa", revision="52e01b3", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/layoutlm_pt_model_config.json")
>>> model = TFAutoModelForDocumentQuestionAnswering.from_pretrained(
...     "./pt_model/layoutlm_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForVisualQuestionAnswering

class transformers.AutoModelForVisualQuestionAnswering

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有视觉问答头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有视觉问答头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVisualQuestionAnswering

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
>>> model = AutoModelForVisualQuestionAnswering.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件*的路径或 URL(例如 ./tf_model/model.ckpt.index)。在这种情况下,`from_tf` 应设置为 `True`,并且应提供一个配置对象作为 `config` 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 `__init__()` 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供一个本地目录作为 `pretrained_model_name_or_path` 来加载,并且在该目录中找到了一个名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖现有的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 `True`,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如 output_attentions=True)。其行为因是否提供了 `config` 或自动加载而异:

    • 如果通过 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数 (from_pretrained())。`kwargs` 中与配置属性对应的每个键都将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的其余键将被传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有视觉问答头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVisualQuestionAnswering

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")

>>> # Update configuration during loading
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/vilt_tf_model_config.json")
>>> model = AutoModelForVisualQuestionAnswering.from_pretrained(
...     "./tf_model/vilt_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

AutoModelForVision2Seq

class transformers.AutoModelForVision2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有视觉到文本建模头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有视觉到文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向 *tensorflow 索引检查点文件*的路径或 URL(例如 ./tf_model/model.ckpt.index)。在这种情况下,`from_tf` 应设置为 `True`,并且应提供一个配置对象作为 `config` 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后再加载 PyTorch 模型要慢。
  • model_args (额外的位置参数, 可选) — 将传递给底层模型的 `__init__()` 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 该模型是由库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 该模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 该模型通过提供一个本地目录作为 `pretrained_model_name_or_path` 来加载,并且在该目录中找到了一个名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], 可选) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练的配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存到的目录的路径。
  • from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件中加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖现有的缓存版本。
  • resume_download — 已弃用并被忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 `True`,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果代码位于与模型其余部分不同的仓库中,则用于 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以 `revision` 可以是 git 允许的任何标识符。
  • kwargs (额外的关键字参数, 可选) — 可用于更新配置对象(加载后)并初始化模型(例如 output_attentions=True)。其行为因是否提供了 `config` 或自动加载而异:

    • 如果通过 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数 (from_pretrained())。`kwargs` 中与配置属性对应的每个键都将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的其余键将被传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForVision2Seq.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

TFAutoModelForVision2Seq

class transformers.TFAutoModelForVision2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有视觉到文本建模头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有视觉到文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, TFAutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = TFAutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 `__init__()` 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型是通过提供本地目录作为 pretrained_model_name_or_path 加载的,并且在目录中找到了名为 *config.json* 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能时默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义自定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码与模型的其余部分位于不同的仓库中,则使用特定的代码修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,`output_attentions=True`)。行为因是否提供 `config` 或自动加载而异:

    • 如果使用 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数(from_pretrained())。`kwargs` 中与配置属性对应的每个键将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, TFAutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = TFAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = TFAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = TFAutoModelForVision2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

FlaxAutoModelForVision2Seq

class transformers.FlaxAutoModelForVision2Seq

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中带有视觉到文本建模头的模型类之一。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

根据配置实例化库中的一个模型类(带有视觉到文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForVision2Seq

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = FlaxAutoModelForVision2Seq.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (stros.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个包含使用 save_pretrained() 保存的模型权重的*目录*路径,例如 ./my_model_directory/
    • 一个指向*PyTorch state_dict 保存文件*的路径或 URL(例如,./pt_model/pytorch_model.bin)。在这种情况下,from_pt 应设置为 True,并且应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型然后加载 TensorFlow 模型要慢。
  • model_args (其他位置参数, 可选) — 将传递给底层模型的 `__init__()` 方法。
  • config (PretrainedConfig, 可选) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID* 字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 模型是通过提供本地目录作为 pretrained_model_name_or_path 加载的,并且在目录中找到了名为 *config.json* 的配置 JSON 文件。
  • cache_dir (stros.PathLike, 可选) — 如果不应使用标准缓存,则为下载的预训练模型配置应缓存的目录路径。
  • from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件中加载模型权重(请参阅 `pretrained_model_name_or_path` 参数的文档字符串)。
  • force_download (bool, 可选, 默认为 False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。所有下载现在在可能时默认恢复。将在 Transformers v5 中移除。
  • proxies (dict[str, str], 可选) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, 可选, 默认为 False) — 是否同时返回一个包含缺失键、意外键和错误消息的字典。
  • local_files_only(bool, 可选, 默认为 False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上的自定义模型文件中定义自定义模型。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上的代码。
  • code_revision (str, 可选, 默认为 "main") — 如果 Hub 上的代码与模型的其余部分位于不同的仓库中,则使用特定的代码修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, 可选) — 可用于更新配置对象(加载后)和初始化模型(例如,`output_attentions=True`)。行为因是否提供 `config` 或自动加载而异:

    • 如果使用 `config` 提供了配置,`**kwargs` 将直接传递给底层模型的 `__init__` 方法(我们假设所有对配置的相关更新已经完成)
    • 如果没有提供配置,`kwargs` 将首先传递给配置类的初始化函数(from_pretrained())。`kwargs` 中与配置属性对应的每个键将用于使用提供的 `kwargs` 值覆盖该属性。不对应任何配置属性的其余键将传递给底层模型的 `__init__` 函数。

从预训练模型实例化库中的一个模型类(带有视觉到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

示例

>>> from transformers import AutoConfig, FlaxAutoModelForVision2Seq

>>> # Download model and configuration from huggingface.co and cache.
>>> model = FlaxAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = FlaxAutoModelForVision2Seq.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a PyTorch checkpoint file instead of a TensorFlow model (slower)
>>> config = AutoConfig.from_pretrained("./pt_model/bert_pt_model_config.json")
>>> model = FlaxAutoModelForVision2Seq.from_pretrained(
...     "./pt_model/bert_pytorch_model.bin", from_pt=True, config=config
... )

AutoModelForImageTextToText

class transformers.AutoModelForImageTextToText

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有图像-文本到文本建模头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

从一个配置实例化库中的一个模型类(带有图像-文本到文本建模头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForImageTextToText

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForImageTextToText.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个指向使用 save_pretrained() 保存的模型权重*目录*的路径,例如 ./my_model_directory/
    • 一个指向*tensorflow索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (其他位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], optional) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有图像-文本到文本建模头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForImageTextToText

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForImageTextToText.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForImageTextToText.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForImageTextToText.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )

时间序列

AutoModelForTimeSeriesPrediction

class transformers.AutoModelForTimeSeriesPrediction

< >

*args **kwargs

这是一个通用的模型类,当使用 from_pretrained() 类方法或 from_config() 类方法创建时,它将被实例化为库中的一个模型类(带有时间序列预测头)。

这个类不能直接使用 __init__() 进行实例化(会抛出错误)。

from_config

< >

**kwargs

参数

  • config (PretrainedConfig) — 要实例化的模型类是根据配置类选择的:

  • attn_implementation (str, optional) — 要在模型中使用的注意力实现(如果相关)。可以是 "eager"(注意力的手动实现)、"sdpa"(使用 F.scaled_dot_product_attention)或 "flash_attention_2"(使用 Dao-AILab/flash-attention)中的任何一种。默认情况下,如果可用,SDPA 将用于 torch>=2.1.1。否则,默认值为手动的 "eager" 实现。

从一个配置实例化库中的一个模型类(带有时间序列预测头)。

注意:从其配置文件加载模型并不会加载模型权重。它只影响模型的配置。请使用 from_pretrained() 来加载模型权重。

示例

>>> from transformers import AutoConfig, AutoModelForTimeSeriesPrediction

>>> # Download configuration from huggingface.co and cache.
>>> config = AutoConfig.from_pretrained("google-bert/bert-base-cased")
>>> model = AutoModelForTimeSeriesPrediction.from_config(config)

from_pretrained

< >

( *model_args **kwargs )

参数

  • pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一:

    • 一个字符串,即托管在 huggingface.co 上的模型仓库中的预训练模型的*模型 ID*。
    • 一个指向使用 save_pretrained() 保存的模型权重*目录*的路径,例如 ./my_model_directory/
    • 一个指向*tensorflow索引检查点文件*的路径或 URL(例如,./tf_model/model.ckpt.index)。在这种情况下,应将 from_tf 设置为 True,并应提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型然后加载 PyTorch 模型要慢。
  • model_args (其他位置参数, optional) — 将传递给底层模型的 __init__() 方法。
  • config (PretrainedConfig, optional) — 用于模型的配置,而不是自动加载的配置。在以下情况下可以自动加载配置:

    • 模型是库提供的模型(使用预训练模型的*模型 ID*字符串加载)。
    • 模型是使用 save_pretrained() 保存的,并通过提供保存目录重新加载。
    • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型,并且在目录中找到名为 *config.json* 的配置 JSON 文件。
  • state_dict (dict[str, torch.Tensor], optional) — 要使用的状态字典,而不是从保存的权重文件中加载的状态字典。

    如果您想从预训练配置创建模型但加载自己的权重,可以使用此选项。但在这种情况下,您应该检查使用 save_pretrained()from_pretrained() 是否不是一个更简单的选项。

  • cache_dir (str or os.PathLike, optional) — 下载的预训练模型配置应缓存的目录路径,如果不应使用标准缓存。
  • from_tf (bool, optional, defaults to False) — 从 TensorFlow 检查点保存文件加载模型权重(请参阅 pretrained_model_name_or_path 参数的文档字符串)。
  • force_download (bool, optional, defaults to False) — 是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。
  • resume_download — 已弃用并忽略。现在所有下载在可能的情况下都会默认恢复。将在 Transformers 的 v5 版本中移除。
  • proxies (dict[str, str], optional) — 按协议或端点使用的代理服务器字典,例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  • output_loading_info(bool, optional, defaults to False) — 是否同时返回一个包含缺失键、意外键和错误信息的字典。
  • local_files_only(bool, optional, defaults to False) — 是否只查看本地文件(例如,不尝试下载模型)。
  • revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • trust_remote_code (bool, optional, defaults to False) — 是否允许在 Hub 上的自定义模型在其自己的建模文件中定义。此选项只应为您信任且已阅读其代码的仓库设置为 True,因为它将在您的本地计算机上执行 Hub 上存在的代码。
  • code_revision (str, optional, defaults to "main") — 如果代码位于与模型其余部分不同的仓库中,则要使用的 Hub 上代码的特定修订版。它可以是分支名称、标签名称或提交 ID,因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件,所以 revision 可以是 git 允许的任何标识符。
  • kwargs (其他关键字参数, optional) — 可用于更新配置对象(加载后)并初始化模型(例如,output_attentions=True)。其行为取决于是否提供了 config 或自动加载:

    • 如果通过 config 提供了配置,**kwargs 将直接传递给底层模型的 __init__ 方法(我们假设所有相关的配置更新已经完成)。
    • 如果没有提供配置,kwargs 将首先传递给配置类的初始化函数(from_pretrained())。kwargs 中与配置属性对应的每个键将用于使用提供的 kwargs 值覆盖该属性。不对应任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

从预训练模型实例化库中的一个模型类(带有时间序列预测头)。

要实例化的模型类是根据配置对象的 model_type 属性选择的(可以作为参数传递,或者如果可能的话从 pretrained_model_name_or_path 加载),或者在缺失时,通过对 pretrained_model_name_or_path 进行模式匹配来选择。

默认情况下,模型通过 model.eval() 设置为评估模式(例如,dropout 模块被禁用)。要训练模型,您应该首先使用 model.train() 将其设置回训练模式。

示例

>>> from transformers import AutoConfig, AutoModelForTimeSeriesPrediction

>>> # Download model and configuration from huggingface.co and cache.
>>> model = AutoModelForTimeSeriesPrediction.from_pretrained("google-bert/bert-base-cased")

>>> # Update configuration during loading
>>> model = AutoModelForTimeSeriesPrediction.from_pretrained("google-bert/bert-base-cased", output_attentions=True)
>>> model.config.output_attentions
True

>>> # Loading from a TF checkpoint file instead of a PyTorch model (slower)
>>> config = AutoConfig.from_pretrained("./tf_model/bert_tf_model_config.json")
>>> model = AutoModelForTimeSeriesPrediction.from_pretrained(
...     "./tf_model/bert_tf_checkpoint.ckpt.index", from_tf=True, config=config
... )
< > 在 GitHub 上更新