参数

• repo_id (str) — 您要将模型推送到的仓库名称。当推送到给定的组织时，应包含您的组织名称。
• use_temp_dir (bool, optional) — 是否使用临时目录来存储在推送到 Hub 之前保存的文件。如果不存在像 repo_id 这样的目录，则默认为 True，否则为 False。
• commit_message (str, optional) — 推送时要提交的消息。默认为 "Upload model"。
• private (bool, optional) — 是否将仓库设为私有。如果为 None（默认），则仓库将是公开的，除非组织的默认设置为私有。如果仓库已存在，则忽略此值。
• token (bool 或 str, optional) — 用作远程文件的 HTTP bearer 授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str, optional, 默认为 "5GB") — 仅适用于模型。分片之前的检查点最大大小。检查点分片将小于此大小。如果表示为字符串，则需要是数字后跟单位（如 "5MB"）。我们将其默认为 "5GB"，以便用户可以在免费层的 Google Colab 实例上轻松加载模型，而不会出现任何 CPU OOM 问题。
• create_pr (bool, optional, 默认为 False) — 是否创建包含上传文件的 PR 或直接提交。
• safe_serialization (bool, optional, 默认为 True) — 是否将模型权重转换为 safetensors 格式以实现更安全的序列化。
• revision (str, optional) — 将上传的文件推送到的分支。
• commit_description (str, optional) — 将要创建的提交的描述
• tags (List[str], optional) — 要推送到 Hub 上的标签列表。

参数

• tags (Union[List[str], str]) — 要注入到推送到 Hugging Face Hub 的模型中的所需标签

此模型是否可以使用 .generate() 生成序列。

参数

• pretrained_model_name_or_path (str 或 os.PathLike, 可选) — 可以是以下之一：
  • 一个字符串，托管在 huggingface.co 上的模型仓库中的预训练模型的模型 ID。
  • 一个目录的路径，其中包含使用 save_pretrained() 保存的模型权重，例如，./my_model_directory/。
  • 一个指向tensorflow 索引检查点文件的路径或 URL（例如，./tf_model/model.ckpt.index）。在这种情况下，from_tf 应设置为 True，并且应将配置对象作为 config 参数提供。此加载路径比使用提供的转换脚本将 TensorFlow 检查点转换为 PyTorch 模型并随后加载 PyTorch 模型要慢。
  • 一个指向模型文件夹的路径或 URL，该文件夹包含 .msgpack 格式的 flax 检查点文件（例如，./flax_model/ 包含 flax_model.msgpack）。在这种情况下，from_flax 应设置为 True。
  • None，如果您同时提供配置和状态字典（分别使用关键字参数 config 和 state_dict）。
• model_args (位置参数序列, 可选) — 所有剩余的位置参数将传递给底层模型的 __init__ 方法。
• config (Union[PretrainedConfig, str, os.PathLike], 可选) — 可以是以下之一：
  • 从 PretrainedConfig 派生的类的实例，
  • 作为 from_pretrained() 的有效输入的字符串或路径。

  用于模型的配置，而不是自动加载的配置。当以下情况时，可以自动加载配置：

  • 模型是库提供的模型（使用预训练模型的模型 ID 字符串加载）。
  • 模型使用 save_pretrained() 保存，并通过提供保存目录重新加载。
  • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载，并且在目录中找到名为 config.json 的配置 JSON 文件。
• state_dict (Dict[str, torch.Tensor], 可选) — 一个状态字典，用于代替从保存的权重文件加载的状态字典。

  如果您想从预训练配置创建模型但加载您自己的权重，则可以使用此选项。但在这种情况下，您应该检查使用 save_pretrained() 和 from_pretrained() 是否不是更简单的选择。

• cache_dir (Union[str, os.PathLike], 可选) — 缓存下载的预训练模型配置的目录路径，如果不想使用标准缓存。
• from_tf (bool, 可选, 默认为 False) — 从 TensorFlow 检查点保存文件加载模型权重（请参阅 pretrained_model_name_or_path 参数的文档字符串）。
• from_flax (bool, 可选, 默认为 False) — 从 Flax 检查点保存文件加载模型权重（请参阅 pretrained_model_name_or_path 参数的文档字符串）。
• ignore_mismatched_sizes (bool, 可选, 默认为 False) — 如果检查点中的某些权重与模型的权重大小不一致（例如，如果您要从具有 3 个标签的检查点实例化具有 10 个标签的模型），是否引发错误。
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖缓存的版本（如果存在）。
• resume_download — 已弃用且被忽略。现在，所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
• proxies (Dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含缺失键、意外键和错误消息的字典。
• local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件（即，不尝试下载模型）。
• token (str 或 bool, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True 或未指定，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件，因此 revision 可以是 git 允许的任何标识符。

  要测试您在 Hub 上创建的拉取请求，您可以传递 revision="refs/pr/<pr_number>"。

• _fast_init(bool, 可选, 默认为 True) — 是否禁用快速初始化。

  应该只禁用 _fast_init 以确保与 transformers.__version__ < 4.6.0 的向后兼容性，用于种子模型初始化。此参数将在下一个主要版本中删除。有关更多信息，请参阅 pull request 11471。

• attn_implementation (str, 可选) — 模型中要使用的注意力实现（如果相关）。可以是 "eager"（注意力的手动实现）、"sdpa"（使用 F.scaled_dot_product_attention）或 "flash_attention_2"（使用 Dao-AILab/flash-attention）中的任何一个。默认情况下，如果可用，SDPA 将用于 torch>=2.1.1。否则，默认设置为手动 "eager" 实现。

大型模型推理的参数

• low_cpu_mem_usage(bool, optional) — 尝试在加载模型时，CPU 内存使用量不超过模型大小的 1 倍（包括峰值内存）。通常应与 device_map（例如 "auto"）结合使用以获得最佳效果。这是一个实验性功能，随时可能更改。
  如果模型权重与加载的模型精度相同，则 `low_cpu_mem_usage`（不带 `device_map`）是冗余的，并且在 CPU 内存使用方面不会提供任何好处。但是，如果您传入 `device_map`，则仍应启用此选项。
• torch_dtype (str 或 torch.dtype, optional) — 覆盖默认的 torch.dtype，并以指定的 dtype 加载模型。不同的选项如下：

  1. torch.float16 或 torch.bfloat16 或 torch.float：以指定的 dtype 加载，忽略模型的 config.torch_dtype（如果存在）。如果未指定

     • 模型将以 torch.float (fp32) 加载。

  2. "auto" - 将尝试使用模型 config.json 文件中的 torch_dtype 条目。如果未找到此条目，则接下来检查检查点中第一个浮点类型的权重的 dtype，并将其用作 dtype。这将使用模型在训练结束时保存的 dtype 加载模型。它不能用作模型训练方式的指标。因为它可能以半精度 dtype 之一进行训练，但以 fp32 保存。

  3. 作为有效 torch.dtype 的字符串。例如，“float32”以 torch.float32 加载模型，“float16”以 torch.float16 加载模型，依此类推。

  对于某些模型，它们训练时使用的 dtype 是未知的 - 您可以尝试查看模型的论文或联系作者，要求他们将此信息添加到模型的卡片中，并在 Hub 上将 torch_dtype 条目插入到 config.json 中。

• device_map (str 或 Dict[str, Union[int, str, torch.device]] 或 int 或 torch.device, optional) — 用于指定每个子模块应放置位置的映射。无需细化到每个参数/缓冲区名称，一旦给定的模块名称包含在内，它的每个子模块都将被发送到同一设备。如果我们仅传递模型将分配到的设备（例如，"cpu"、"cuda:1"、"mps" 或 GPU 序号，如 1），则设备映射会将整个模型映射到此设备。传递 device_map = 0 意味着将整个模型放在 GPU 0 上。

  要让 Accelerate 自动计算出最优化的 device_map，请设置 device_map="auto"。有关每个选项的更多信息，请参阅 设计设备映射。

• max_memory (Dict, optional) — 如果使用 device_map，则此字典用于指定设备标识符到最大内存的映射。如果未设置，则默认为每个 GPU 的最大可用内存和可用的 CPU RAM。
• tp_plan (str, optional) — Torch 张量并行计划，请参阅此处。目前，它仅接受 tp_plan="auto" 以使用基于模型的预定义计划。请注意，如果使用它，则应使用 torchrun [args] script.py 相应地启动脚本。这将比使用 device_map 快得多，但有一些限制。
• offload_folder (str 或 os.PathLike, optional) — 如果 device_map 包含任何值 "disk"，则为我们将要卸载权重的文件夹。
• offload_state_dict (bool, optional) — 如果为 True，则会临时将 CPU 状态字典卸载到硬盘驱动器，以避免在 CPU 状态字典的权重 + 检查点的最大分片不适合时耗尽 CPU RAM。当存在一些磁盘卸载时，默认为 True。
• offload_buffers (bool, optional) — 是否卸载带有模型参数的缓冲区。
• quantization_config (Union[QuantizationConfigMixin,Dict], optional) — 量化配置参数字典或 QuantizationConfigMixin 对象，用于量化（例如 bitsandbytes、gptq）。可能还有其他与量化相关的 kwargs，包括 load_in_4bit 和 load_in_8bit，它们由 QuantizationConfigParser 解析。仅支持 bitsandbytes 量化，不推荐使用。考虑将所有此类参数插入到 quantization_config 中。
• subfolder (str, optional, 默认为 "") — 如果相关文件位于 huggingface.co 上的模型仓库的子文件夹中，您可以在此处指定文件夹名称。
• variant (str, optional) — 如果指定，则从 variant 文件名加载权重，例如 pytorch_model..bin。当使用 from_tf 或 from_flax 时，variant 将被忽略。
• use_safetensors (bool, optional, 默认为 None) — 是否使用 safetensors 检查点。默认为 None。如果未指定且未安装 safetensors，则将其设置为 False。
• weights_only (bool, optional, 默认为 True) — 指示 unpickler 是否应仅限于加载张量、原始类型、字典以及通过 torch.serialization.add_safe_globals() 添加的任何类型。当设置为 False 时，我们可以加载包装器张量子类权重。
• key_mapping (Dict[str, str], optional) — 如果在 Hub 上使用与 Transformers 架构兼容的模型，但未进行相应转换，则可以使用权重名称的潜在映射。
• kwargs (剩余的关键字参数字典, optional) — 可用于更新配置对象（加载后）并初始化模型（例如，output_attentions=True）。行为取决于是否提供了 config 或自动加载了 config：
  • 如果使用 config 提供了配置，则 **kwargs 将直接传递给底层模型的 __init__ 方法（我们假设已完成对配置的所有相关更新）
  • 如果未提供配置，则 kwargs 将首先传递给配置类初始化函数 (from_pretrained())。与配置属性对应的 kwargs 的每个键将用于使用提供的 kwargs 值覆盖所述属性。不对应于任何配置属性的剩余键将传递给底层模型的 __init__ 函数。

一个将词汇表映射到隐藏状态的 torch 模块。

参数

• return_buffers (bool, optional, 默认为 True) — 是否在内存占用计算中返回缓冲区张量的大小。缓冲区是不需要梯度且未注册为参数的张量。例如，批量归一化层中的均值和标准差。请参阅：https://discuss.pytorch.org/t/what-pytorch-means-by-buffers/120266/2

一个将隐藏状态映射到词汇表的 torch 模块。

参数

• gradient_checkpointing_kwargs (dict, optional) — 传递给 torch.utils.checkpoint.checkpoint 函数的附加关键字参数。

参数

• heads_to_prune (Dict[int, List[int]]) — 字典，键是选定的层索引 (int)，关联的值是要在所述层中剪枝的头的列表（int 的列表）。例如 {1: [0, 2], 2: [2, 3]} 将剪枝第 1 层的头 0 和 2，以及第 2 层的头 2 和 3。

参数

• auto_class (str 或 type, 可选, 默认为 "AutoModel") — 用于注册此新模型的自动类。

参数

• new_num_tokens (int, 可选) — 嵌入矩阵中的新 token 数量。增加大小时，将在末尾添加新初始化的向量。减小大小时，将从末尾删除向量。如果未提供或为 None，则仅返回指向模型的输入 token torch.nn.Embedding 模块的指针，而不执行任何操作。
• pad_to_multiple_of (int, 可选) — 如果设置，则将嵌入矩阵填充为所提供值的倍数。如果 new_num_tokens 设置为 None，则仅将嵌入填充为 pad_to_multiple_of 的倍数。

  这对于在 NVIDIA 硬件上启用 Tensor Cores（计算能力 >= 7.5 (Volta)）或在 TPU 上非常有用，TPU 受益于序列长度为 128 的倍数。有关此的更多详细信息，或有关选择正确调整大小的值的帮助，请参阅本指南： https://docs.nvda.net.cn/deeplearning/performance/dl-performance-matrix-multiplication/index.html#requirements-tc

• mean_resizing (bool) — 是否从具有旧嵌入的均值和协方差的多元正态分布初始化添加的嵌入，或者使用均值为零且 std 等于 config.initializer_range 的正态分布初始化它们。

  当增加因果语言模型的嵌入大小时，将 mean_resizing 设置为 True 非常有用，其中生成的 token 的概率不会受到添加的嵌入的影响，因为使用旧嵌入的均值初始化新嵌入将减少添加新嵌入之前和之后的下一个 token 概率之间的 kl 散度。有关更多信息，请参阅这篇文章： https://nlp.stanford.edu/~johnhew/vocab-expansion.html

指向模型的输入 token 嵌入模块的指针。

转换回原始建模的模型。

参数

• save_directory (str 或 os.PathLike) — 要保存到的目录。如果不存在，将创建该目录。
• is_main_process (bool, 可选, 默认为 True) — 调用此方法的进程是否为主进程。在像 TPU 这样的分布式训练中很有用，并且需要在所有进程上调用此函数。在这种情况下，仅在主进程上设置 is_main_process=True，以避免竞争条件。
• state_dict (torch.Tensor 的嵌套字典) — 要保存的模型的 state dictionary。默认为 self.state_dict()，但可以用于仅保存模型的部分，或者在恢复模型的 state dictionary 时需要采取特殊预防措施（例如，当使用模型并行性时）。
• save_function (Callable) — 用于保存 state dictionary 的函数。在像 TPU 这样的分布式训练中很有用，当需要用另一种方法替换 torch.save 时。
• push_to_hub (bool, 可选, 默认为 False) — 是否在保存模型后将其推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到的存储库（默认为您命名空间中 save_directory 的名称）。
• max_shard_size (int 或 str, 可选, 默认为 "5GB") — 分片前的检查点的最大大小。检查点分片的大小将小于此大小。如果表示为字符串，则需要是数字后跟单位（如 "5MB"）。我们默认设置为 5GB，以便模型能够在免费层级的 Google Colab 实例上轻松运行，而不会出现 CPU OOM 问题。

  如果模型的单个权重大于 max_shard_size，它将位于其自己的检查点分片中，该分片将大于 max_shard_size。

• safe_serialization (bool, 可选, 默认为 True) — 是否使用 safetensors 或传统的 PyTorch 方式（使用 pickle）保存模型。
• variant (str, 可选) — 如果指定，权重将以 pytorch_model..bin 格式保存。
• token (str 或 bool, 可选) — 用作远程文件 HTTP 承载授权的 token。如果为 True 或未指定，将使用运行 huggingface-cli login 时生成的 token（存储在 ~/.huggingface 中）。
• save_peft_format (bool, 可选, 默认为 True) — 为了向后兼容 PEFT 库，如果适配器权重附加到模型，则适配器的 state dict 的所有键都需要以 base_model.model 开头。高级用户可以通过将 save_peft_format 设置为 False 来禁用此行为。
• kwargs (Dict[str, Any], 可选) — 传递给 push_to_hub() 方法的其他关键字参数。

参数

• value (nn.Module) — 一个将词汇表映射到隐藏状态的模块。

转换为 BetterTransformer 的模型。

参数

• inputs (dict) — 模型输入。

token 的总数。

参数

• batch_size (int) — 前向传递的批次大小。
• sequence_length (int) — 批次中每行 token 的数量。
• exclude_embeddings (bool, 可选, 默认为 True) — 是否计算嵌入和 softmax 操作。

浮点运算的数量。

参数

• attention_mask (torch.Tensor) — Mask，其中 1 表示要关注的 token，0 表示要忽略的 token。
• input_shape (Tuple[int]) — 模型输入的形状。

参数

• head_mask (torch.Tensor，形状为 [num_heads] 或 [num_hidden_layers x num_heads]，可选) — 指示我们是否应保留 head 的 mask（1.0 表示保留，0.0 表示丢弃）。
• num_hidden_layers (int) — 模型中隐藏层的数量。
• is_attention_chunked (bool, 可选, 默认为 False) — 注意力分数是否分块计算。

参数

• encoder_attention_mask (torch.Tensor) — 一个 attention mask。

反转的 attention mask。

参数

• only_trainable (bool, 可选, 默认为 False) — 是否仅返回可训练参数的数量
• exclude_embeddings (bool, 可选, 默认为 False) — 是否仅返回非嵌入参数的数量

参数的数量。

参数

• repo_id (str) — 您想要将模型推送到的仓库的名称。当推送到给定组织时，它应包含您的组织名称。
• use_temp_dir (bool, 可选) — 是否使用临时目录来存储在推送到 Hub 之前保存的文件。如果不存在像 repo_id 这样的目录，则默认为 True，否则为 False。
• commit_message (str, 可选) — 推送时提交的消息。默认为 "Upload model"。
• private (bool, 可选) — 是否将仓库设为私有。如果为 None (默认)，则仓库将是公开的，除非组织的默认设置为私有。如果仓库已存在，则此值将被忽略。
• token (bool 或 str, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str, 可选, 默认为 "10GB") — 仅适用于模型。分片前检查点的最大大小。检查点分片的大小将小于此大小。如果表示为字符串，则需要是数字后跟单位（例如 "5MB"）。
• create_pr (bool, 可选, 默认为 False) — 是否使用上传的文件创建 PR 或直接提交。

此模型是否可以使用 .generate() 生成序列。

参数

• output_dir (str 或 os.PathLike) — 在其中创建模型卡片的文件夹。
• model_name (str, 可选) — 模型的名称。
• language (str, 可选) — 模型的语言（如果适用）
• license (str, 可选) — 模型的许可证。如果提供给 Trainer 的原始模型来自 Hub 上的仓库，则默认为所用预训练模型的许可证。
• tags (str 或 List[str], 可选) — 要包含在模型卡片元数据中的一些标签。
• finetuned_from (str, 可选) — 用于微调此模型的模型的名称（如果适用）。如果提供给 Trainer 的原始模型来自 Hub，则默认为原始模型的仓库名称。
• tasks (str 或 List[str], 可选) — 一个或多个任务标识符，包含在模型卡的元数据中。
• dataset_tags (str 或 List[str], 可选) — 一个或多个数据集标签，包含在模型卡的元数据中。
• dataset (str 或 List[str], 可选) — 一个或多个数据集标识符，包含在模型卡的元数据中。
• dataset_args (str 或 List[str], 可选) — 一个或多个数据集参数，包含在模型卡的元数据中。

参数

• pretrained_model_name_or_path (str, 可选) — 可以是以下之一：
  • 一个字符串，即托管在 huggingface.co 模型仓库中的预训练模型的模型 ID。
  • 一个目录的路径，其中包含使用 save_pretrained() 保存的模型权重，例如， ./my_model_directory/。
  • 一个指向 PyTorch state_dict 保存文件 的路径或 URL (例如, ./pt_model/pytorch_model.bin)。在这种情况下，from_pt 应该设置为 True，并且应该提供一个配置对象作为 config 参数。这种加载路径比使用提供的转换脚本将 PyTorch 模型转换为 TensorFlow 模型，然后再加载 TensorFlow 模型要慢。
  • None，如果您同时提供配置和状态字典 (分别使用关键字参数 config 和 state_dict)。
• model_args (位置参数序列, 可选) — 所有剩余的位置参数将传递给底层模型的 __init__ 方法。
• config (Union[PretrainedConfig, str], 可选) — 可以是以下之一：
  • 一个从 PretrainedConfig 派生的类的实例，
  • 一个作为 from_pretrained() 的有效输入的字符串。

  用于模型的配置，以代替自动加载的配置。在以下情况下，可以自动加载配置：

  • 该模型是由库提供的模型（使用预训练模型的模型 ID 字符串加载）。
  • 该模型是使用 save_pretrained() 保存的，并通过提供保存目录重新加载。
  • 通过提供本地目录作为 pretrained_model_name_or_path 加载模型，并且在目录中找到名为 config.json 的配置 JSON 文件。
• from_pt (bool, 可选, 默认为 False) — 从 PyTorch state_dict 保存文件加载模型权重（请参阅 pretrained_model_name_or_path 参数的文档字符串）。
• ignore_mismatched_sizes (bool, 可选, 默认为 False) — 是否在检查点中的某些权重与模型的权重大小不一致时引发错误（例如，如果您从具有 3 个标签的检查点实例化具有 10 个标签的模型）。
• cache_dir (str, 可选) — 缓存下载的预训练模型配置的目录路径，如果不想使用标准缓存。
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖缓存的版本（如果存在）。
• resume_download — 已弃用且被忽略。现在，所有下载在可能的情况下默认恢复。将在 Transformers v5 中删除。
• proxies — (Dict[str, str], optional): 要按协议或端点使用的代理服务器字典，例如， {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。 output_loading_info(bool, *optional*, defaults to False`): 是否也返回一个字典，其中包含缺失的键、意外的键和错误消息。
• local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件（例如，不尝试下载模型）。
• token (str 或 bool, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True，或未指定，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件，因此 revision 可以是 git 允许的任何标识符。

表示偏置的权重，如果不是 LM 模型，则为 None。

参数

• head_mask (形状为 [num_heads] 或 [num_hidden_layers x num_heads] 的 tf.Tensor, 可选) — 指示我们是否应保留头的掩码（1.0 表示保留，0.0 表示丢弃）。
• num_hidden_layers (int) — 模型中隐藏层的数量。

将词汇表映射到隐藏状态的嵌入层。

如果模型有 LM 头，则为 LM 头层；否则为 None。

将词汇表映射到隐藏状态的新权重。

处理偏置的层，如果不是 LM 模型，则为 None。

偏置的 _prefix 名称。

参数

• dataset (Any) — 作为 tf.data.Dataset 封装的 [~datasets.Dataset]。
• batch_size (int, 可选, 默认为 8) — 返回批次的大小。
• shuffle (bool, 默认为 True) — 是否以随机顺序从数据集中返回样本。通常，训练数据集为 True，验证/测试数据集为 False。
• tokenizer (PreTrainedTokenizerBase, 可选) — 一个 PreTrainedTokenizer，将用于填充样本以创建批次。如果传递了特定的 collate_fn，则无效。
• collate_fn (Callable, 可选) — 一个函数，用于将数据集中的样本整理成单个批次。如果没有提供 tokenizer，则默认为 DefaultDataCollator；如果传递了 tokenizer，则默认为 DataCollatorWithPadding。
• collate_fn_args (Dict[str, Any], 可选) — 一个字典，其中包含要传递给 collate_fn 的参数以及样本列表。
• drop_remainder (bool, 可选) — 如果 batch_size 不能整除数据集长度，是否删除最后一个批次。默认为与 shuffle 相同的设置。
• prefetch (bool, 默认为 True) — 是否在 tf.data 管道的末尾添加预取。这几乎总是有利于性能，但在极端情况下可以禁用。

一个 tf.data.Dataset，可以准备传递给 Keras API。

参数

• heads_to_prune (Dict[int, List[int]]) — 字典，键为选定的层索引 (int)，关联的值是要在所述层中修剪的头的列表（int 列表）。例如，{1: [0, 2], 2: [2, 3]} 将修剪第 1 层的头 0 和 2，以及第 2 层的头 2 和 3。

参数

• auto_class (str 或 type, 可选, 默认为 "TFAutoModel") — 用于注册此新模型的自动类。

参数

• new_num_tokens (int, 可选) — 嵌入矩阵中的新 token 数量。增加大小将在末尾添加新初始化的向量。减小大小将从末尾删除向量。如果未提供或为 None，则仅返回指向输入 token 的指针，而不执行任何操作。

指向模型的输入 token 的指针。

参数

• save_directory (str) — 要保存到的目录。如果目录不存在，则将创建该目录。
• saved_model (bool, 可选, 默认为 False) — 模型是否也必须以 saved model 格式保存。
• version (int, 可选, 默认为 1) — saved model 的版本。 saved model 需要进行版本控制，以便 TensorFlow Serving 正确加载，详见官方文档 https://tensorflowcn.cn/tfx/serving/serving_basic
• push_to_hub (bool, 可选, 默认为 False) — 是否在保存模型后将其推送到 Hugging Face 模型 Hub。您可以使用 repo_id 指定要推送到的存储库（默认为您命名空间中 save_directory 的名称）。
• signatures (dict 或 tf.function, 可选) — 用于 serving 的模型签名。这将传递给 model.save() 的 signatures 参数。
• max_shard_size (int 或 str, 可选, 默认为 "10GB") — 分片之前的检查点最大大小。检查点分片的大小将小于此大小。如果表示为字符串，则需要是数字后跟单位（例如 "5MB"）。

  如果模型的单个权重大于 max_shard_size，它将位于自己的检查点分片中，该分片将大于 max_shard_size。

• create_pr (bool, 可选, 默认为 False) — 是否使用上传的文件创建 PR 或直接提交。
• safe_serialization (bool, 可选, 默认为 False) — 是否使用 safetensors 或传统的 TensorFlow 方式（使用 h5）保存模型。
• token (str 或 bool, 可选) — 用作远程文件的 HTTP 持票人授权的 token。 如果为 True 或未指定，将使用运行 huggingface-cli login 时生成的 token（存储在 ~/.huggingface 中）。
• kwargs (Dict[str, Any], 可选) — 传递给 push_to_hub() 方法的其他关键字参数。

参数

• Method 用于模型 serving 的方法。没有特定的签名，但将被专门化为具体的 —
• functions 当使用 save_pretrained 保存时。— inputs (Dict[str, tf.Tensor]): 保存模型的输入，以 tensors 字典的形式。

参数

• value (Dict[tf.Variable]) — 所有附加到 LM 头的新的 bias。

参数

• value (tf.Variable) — 将隐藏状态映射到词汇表的新权重。

参数

• value (tf.Variable) — 将隐藏状态映射到词汇表的新权重。

参数

• only_trainable (bool, 可选, 默认为 False) — 是否仅返回可训练参数的数量

参数的数量。

参数

• repo_id (str) — 你想要将模型推送到的仓库的名称。当推送到给定的组织时，它应该包含你的组织名称。
• use_temp_dir (bool, 可选) — 是否使用临时目录来存储保存的文件，然后再将其推送到 Hub。 如果没有像 repo_id 这样的目录，则默认为 True，否则为 False。
• commit_message (str, 可选) — 推送时提交的消息。 将默认为 "Upload model"。
• private (bool, 可选) — 是否将仓库设为私有。 如果为 None（默认值），则仓库将是公开的，除非组织的默认设置为私有。 如果仓库已存在，则忽略此值。
• token (bool 或 str, 可选) — 用作远程文件的 HTTP Bearer 授权的 token。 如果为 True，将使用运行 huggingface-cli login 时生成的 token (存储在 ~/.huggingface 中)。 如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str, 可选, 默认为 "5GB") — 仅适用于模型。分片前的检查点最大大小。 检查点分片后的每个大小将小于此大小。 如果表示为字符串，则需要是数字后跟一个单位（如 "5MB"）。 我们默认设置为 "5GB"，以便用户可以在免费层的 Google Colab 实例上轻松加载模型，而不会出现任何 CPU OOM 问题。
• create_pr (bool, 可选, 默认为 False) — 是否使用上传的文件创建 PR 或直接提交。
• safe_serialization (bool, 可选, 默认为 True) — 是否将模型权重转换为 safetensors 格式以进行更安全的序列化。
• revision (str, 可选) — 将上传的文件推送到的分支。
• commit_description (str, 可选) — 将要创建的提交的描述
• tags (List[str], 可选) — 要推送到 Hub 上的标签列表。

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 可以是以下之一：
  • 一个字符串，huggingface.co 上模型仓库中托管的预训练模型的模型 ID。
  • 一个目录的路径，其中包含使用 save_pretrained() 保存的模型权重，例如，./my_model_directory/。
  • 一个 pt 索引检查点文件的路径或 URL (例如，./tf_model/model.ckpt.index)。在这种情况下，应将 from_pt 设置为 True。
• dtype (jax.numpy.dtype, 可选, 默认为 jax.numpy.float32) — 计算的数据类型。 可以是 jax.numpy.float32, jax.numpy.float16 (在 GPU 上) 和 jax.numpy.bfloat16 (在 TPU 上) 之一。

  这可以用于在 GPU 或 TPU 上启用混合精度训练或半精度推理。 如果指定，则所有计算将使用给定的 dtype 执行。

  请注意，这仅指定计算的 dtype，不影响模型参数的 dtype。

  如果您希望更改模型参数的 dtype，请参阅 to_fp16() 和 to_bf16()。

• model_args (位置参数序列, 可选) — 所有剩余的位置参数将传递给底层模型的 __init__ 方法。
• config (Union[PretrainedConfig, str, os.PathLike], 可选) — 可以是以下之一：
  • PretrainedConfig 派生类的实例，
  • 作为 from_pretrained() 的输入的有效字符串或路径。

  用于模型的配置，以代替自动加载的配置。 当以下情况时，可以自动加载配置：

  • 模型是由库提供的模型（使用预训练模型的模型 ID 字符串加载）。
  • 模型是使用 save_pretrained() 保存的，并通过提供保存目录重新加载。
  • 模型通过提供本地目录作为 pretrained_model_name_or_path 加载，并且在目录中找到名为 config.json 的配置 JSON 文件。
• cache_dir (Union[str, os.PathLike], 可选) — 如果应避免使用标准缓存，则预训练模型配置应缓存到的目录的路径。
• from_pt (bool, 可选, 默认为 False) — 从 PyTorch 检查点保存文件加载模型权重 (请参阅 pretrained_model_name_or_path 参数的文档字符串)。
• ignore_mismatched_sizes (bool, 可选, 默认为 False) — 是否在检查点中的某些权重与模型的权重大小不一致时引发错误 (例如，如果您从具有 3 个标签的检查点实例化具有 10 个标签的模型)。
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖缓存的版本（如果存在）。
• resume_download — 已弃用且被忽略。 现在，所有下载在可能的情况下都默认恢复。 将在 Transformers v5 中删除。
• proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典，例如， {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。 代理用于每个请求。
• local_files_only(bool, 可选, 默认为 False) — 是否仅查看本地文件（即，不尝试下载模型）。
• token (str 或 bool, 可选) — 用作远程文件的 HTTP Bearer 授权的令牌。 如果为 True，或未指定，将使用运行 huggingface-cli login 时生成的令牌 (存储在 ~/.huggingface 中)。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。 它可以是分支名称、标签名称或提交 ID，因为我们使用基于 git 的系统来存储 huggingface.co 上的模型和其他工件，因此 revision 可以是 git 允许的任何标识符。

参数

• shard_files (List[str] — 要加载的分片文件列表。

模型参数的嵌套字典，格式应为 flax 模型期望的格式： {'model': {'params': {'...'}}}。

参数

• auto_class (str 或 type, 可选, 默认为 "FlaxAutoModel") — 用于注册此新模型的自动类。

参数

• save_directory (str 或 os.PathLike) — 要保存到的目录。 如果不存在，将创建该目录。
• push_to_hub (bool, optional, defaults to False) — 是否在保存模型后将其推送到 Hugging Face 模型 Hub。您可以使用 repo_id 指定要推送到的仓库（默认为您命名空间中 save_directory 的名称）。
• max_shard_size (int 或 str, optional, defaults to "10GB") — 分片之前的检查点最大大小。检查点分片后的每个分片大小将低于此大小。如果表示为字符串，则需要是数字后跟单位（例如 "5MB"）。

  如果模型的单个权重大于 max_shard_size，它将位于其自身的检查点分片中，该分片将大于 max_shard_size。

• token (str 或 bool, optional) — 用作远程文件 HTTP Bearer 授权的令牌。如果为 True，或未指定，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
• kwargs (Dict[str, Any], optional) — 传递给 push_to_hub() 方法的附加关键字参数。
• safe_serialization (bool, optional, defaults to False) — 是否使用 safetensors 或通过 msgpack 保存模型。

参数

• params (Union[Dict, FrozenDict]) — 模型参数的 PyTree。
• mask (Union[Dict, FrozenDict]) — 具有与 params 树相同结构的 PyTree。叶子应该是布尔值，对于您想要转换的参数应为 True，对于您想要跳过的参数应为 False。

参数

• params (Union[Dict, FrozenDict]) — 模型参数的 PyTree。
• mask (Union[Dict, FrozenDict]) — 具有与 params 树相同结构的 PyTree。叶子应该是布尔值，对于您想要转换的参数应为 True，对于您想要跳过的参数应为 False。

参数

• params (Union[Dict, FrozenDict]) — 模型参数的 PyTree。
• mask (Union[Dict, FrozenDict]) — 具有与 params 树相同结构的 PyTree。叶子应该是布尔值，对于您想要转换的参数应为 True，对于您想要跳过的参数应为 False。

参数

• repo_id (str) — 您想要将 {object} 推送到的仓库名称。当推送到给定组织时，它应包含您的组织名称。
• use_temp_dir (bool, optional) — 是否使用临时目录来存储保存的文件，然后再将其推送到 Hub。如果没有像 repo_id 这样的目录名称，则默认为 True，否则为 False。
• commit_message (str, optional) — 推送时提交的消息。默认为 "Upload {object}"。
• private (bool, optional) — 是否将仓库设为私有。如果为 None（默认值），则仓库将是公开的，除非组织的默认设置为私有。如果仓库已存在，则此值将被忽略。
• token (bool 或 str, optional) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str, optional, defaults to "5GB") — 仅适用于模型。分片之前的检查点最大大小。检查点分片后的每个分片大小将低于此大小。如果表示为字符串，则需要是数字后跟单位（例如 "5MB"）。我们将其默认设置为 "5GB"，以便用户可以在免费层的 Google Colab 实例上轻松加载模型，而不会出现任何 CPU OOM 问题。
• create_pr (bool, optional, defaults to False) — 是否创建包含上传文件的 PR 或直接提交。
• safe_serialization (bool, optional, defaults to True) — 是否将模型权重转换为 safetensors 格式以实现更安全的序列化。
• revision (str, optional) — 将上传的文件推送到的分支。
• commit_description (str, optional) — 将要创建的提交的描述
• tags (List[str], optional) — 要推送到 Hub 上的标签列表。