参数

• text (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_pair (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_target (str, list[str], list[list[str]], 可选) — 要作为目标文本编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_pair_target (str, list[str], list[list[str]], 可选) — 要作为目标文本编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• add_special_tokens (bool, 可选, 默认为 True) — 编码序列时是否添加特殊 token。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些 token 会自动添加到输入 ID 中。如果您希望自动添加 bos 或 eos token，此功能非常有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad' (默认)：不填充（即，可以输出具有不同长度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列），这将逐个 token 进行截断，从对中最长的序列中删除一个 token。
  • 'only_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列），这将只截断对中的第一个序列。
  • 'only_second'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列），这将只截断对中的第二个序列。
  • False 或 'do_not_truncate' (默认)：不截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数之一使用的最大长度。

  如果未设置或设置为 None，则如果截断/填充参数之一需要最大长度，此参数将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将禁用最大长度截断/填充。

• stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为一个数字，当 return_overflowing_tokens=True 时返回的溢出 token 将包含截断序列末尾的一些 token，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠 token 的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预分词（例如，按单词分割）。如果设置为 True，分词器假定输入已按单词分割（例如，通过按空格分割），然后对其进行分词。这对于 NER 或 token 分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
• padding_side (str, 可选) — 模型应该应用填充的侧面。应在 ['right', 'left'] 之间选择。默认值取自同名的类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回 token 类型 ID。如果保留默认值，将根据特定分词器的默认值返回 token 类型 ID，由 return_outputs 属性定义。

  什么是 token 类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值返回注意力掩码，由 return_outputs 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出 token 序列。如果提供了一对输入 ID 序列（或一批对），并且 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出 token。
• return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊 token 掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回每个 token 的 (char_start, char_end)。

  此功能仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• conversation (Union[list[dict[str, str]], list[list[dict[str, str]]]]) — 一个字典列表，包含“role”和“content”键，表示到目前的聊天历史。
• tools (list[Union[Dict, Callable]], 可选) — 模型可访问的工具（可调用函数）列表。如果模板不支持函数调用，此参数将无效。每个工具都应作为 JSON Schema 传递，提供工具的名称、描述和参数类型。有关更多信息，请参阅我们的 聊天模板指南。
• documents (list[dict[str, str]], 可选) — 包含字典的列表，表示模型在执行 RAG（检索增强生成）时可访问的文档。如果模板不支持 RAG，则此参数将无效。我们建议每个文档都应该是一个包含“title”和“text”键的字典。有关通过聊天模板传递文档的示例，请参阅聊天模板指南的 RAG 部分。
• chat_template (str, 可选) — 用于此转换的 Jinja 模板。通常不需要向此参数传递任何内容，因为默认情况下会使用模型的模板。
• add_generation_prompt (bool, 可选) — 如果设置，则会将指示助理消息开始的标记附加到格式化输出中。当您想从模型生成响应时，这很有用。请注意，此参数将传递给聊天模板，因此只有当模板支持此参数时，此参数才有效。
• continue_final_message (bool, 可选) — 如果设置，聊天将格式化为开放式，不带任何 EOS 标记。模型将继续此消息，而不是开始新消息。这允许您为模型“预填充”部分响应。不能与add_generation_prompt同时使用。
• tokenize (bool, 默认为 True) — 是否对输出进行分词。如果为 False，输出将是一个字符串。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 选择一种策略来填充返回的序列（根据模型的填充侧和填充索引），包括：
  • True 或 'longest': 填充到批处理中最长的序列（如果只提供单个序列则不填充）。
  • 'max_length': 填充到由参数 max_length 指定的最大长度，或者如果未提供该参数，则填充到模型的最大可接受输入长度。
  • False 或 'do_not_pad'（默认）: 不填充（即，可以输出包含不同长度序列的批处理）。
• truncation (bool, 默认为 False) — 是否在最大长度处截断序列。如果 tokenize 为 False，则无效。
• max_length (int, 可选) — 用于填充或截断的最大长度（以标记为单位）。如果 tokenize 为 False，则无效。如果未指定，将使用标记器的 max_length 属性作为默认值。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。如果 tokenize 为 False，则无效。可接受的值为：
  • 'tf': 返回 TensorFlow tf.Tensor 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 NumPy np.ndarray 对象。
  • 'jax': 返回 JAX jnp.ndarray 对象。
• return_dict (bool, 默认为 False) — 是否返回带有命名输出的字典。如果 tokenize 为 False，则无效。
• tokenizer_kwargs (dict[str -- Any], 可选)：要传递给分词器的额外 kwargs。
• return_assistant_tokens_mask (bool, 默认为 False) — 是否返回助手生成的标记掩码。对于助手生成的标记，掩码将包含 1。对于用户和系统标记，掩码将包含 0。此功能仅适用于通过 {% generation %} 关键字支持的聊天模板。
• **kwargs — 要传递给模板渲染器的额外 kwargs。聊天模板将可以访问这些参数。

到目前为止已分词聊天的标记 ID 列表，包括控制标记。此输出已准备好直接或通过 generate() 等方法传递给模型。如果设置了 return_dict，则将返回分词器输出的字典。

参数

• sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor, tf.Tensor]) — 分词后的输入 ID 列表。可以使用 __call__ 方法获取。
• skip_special_tokens (bool, 可选, 默认为 False) — 解码时是否删除特殊标记。
• clean_up_tokenization_spaces (bool, 可选) — 是否清理分词空间。如果为 None，将默认为 self.clean_up_tokenization_spaces。
• kwargs (附加关键字参数, 可选) — 将传递给底层模型特定解码方法。

解码后的句子列表。

参数

• batch_text_or_text_pairs (list[str], list[tuple[str, str]], list[list[str]], list[tuple[list[str], list[str]]]，对于非快速分词器，还包括 list[list[int]], list[tuple[list[int], list[int]]]) — 要编码的序列批处理或序列对列表。这可以是字符串/字符串序列/整数序列列表，也可以是字符串/字符串序列/整数序列对列表（详见 encode_plus）。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest': 填充到批处理中最长的序列（如果只提供单个序列则不填充）。
  • 'max_length': 填充到由参数 max_length 指定的最大长度，或者如果未提供该参数，则填充到模型的最大可接受输入长度。
  • False 或 'do_not_pad'（默认）: 不填充（即，可以输出包含不同长度序列的批处理）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first': 截断到由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供序列对（或批处理对），这将逐个标记截断，从序列对中最长的序列中删除一个标记。
  • 'only_first': 截断到由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供序列对（或批处理对），这将仅截断序列对中的第一个序列。
  • 'only_second': 截断到由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供序列对（或批处理对），这将仅截断序列对中的第二个序列。
  • False 或 'do_not_truncate'（默认）: 不截断（即，可以输出序列长度大于模型最大允许输入大小的批处理）。
• max_length (int, 可选) — 控制截断/填充参数使用的最大长度。

  如果未设置或设置为 None，则如果截断/填充参数需要最大长度，将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。

• stride (int, 可选, 默认为 0) — 如果设置为一个数字并与 max_length 一起使用，当 return_overflowing_tokens=True 时返回的溢出标记将包含一些来自截断序列末尾的标记，以提供截断序列和溢出序列之间的一些重叠。此参数的值定义重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已预分词（例如，已拆分为单词）。如果设置为 True，分词器将假定输入已拆分为单词（例如，通过在空格处拆分），然后对其进行分词。这对于 NER 或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将序列填充到所提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Core 的使用特别有用。
• padding_side (str, 可选) — 模型应该应用填充的侧面。应在 ['right', 'left'] 之间选择。默认值从同名的类属性中选择。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回标记类型 ID。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回标记类型 ID。

  什么是标记类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出标记序列。如果提供了输入 ID 序列对（或批处理对），并且 truncation_strategy = longest_first 或 True，则会引发错误而不是返回溢出标记。
• return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否为每个标记返回 (char_start, char_end)。

  此功能仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• token_ids_0 (list[int]) — 第一个分词序列。
• token_ids_1 (list[int], 可选) — 第二个分词序列。

带有特殊标记的模型输入。

参数

• out_string (str) — 要清理的文本。

清理后的字符串。

参数

• tokens (list[str]) — 要连接成字符串的标记。

连接后的标记。

参数

• token_ids_0 (list[int]) — 第一个分词序列。
• token_ids_1 (list[int], 可选) — 第二个分词序列。

标记类型 ID。

参数

• token_ids (Union[int, list[int], np.ndarray, torch.Tensor, tf.Tensor]) — 分词后的输入 ID 列表。可以使用 __call__ 方法获取。
• skip_special_tokens (bool, 可选, 默认为 False) — 解码时是否删除特殊标记。
• clean_up_tokenization_spaces (bool, 可选) — 是否清理分词空格。如果为 None，则默认为 self.clean_up_tokenization_spaces。
• kwargs (附加关键字参数，可选) — 将传递给底层模型特定的解码方法。

解码后的句子。

参数

• text (str, list[str] 或 list[int]) — 要编码的第一个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。
• text_pair (str, list[str] 或 list[int], 可选) — 要编码的可选第二个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。
• add_special_tokens (bool, 可选, 默认为 True) — 编码序列时是否添加特殊标记。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义哪些标记会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 标记，这会很有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活和控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad' (默认)：不填充（即，可以输出长度不同的序列批次）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活和控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将逐个标记截断，从对中最长的序列中移除一个标记。
  • 'only_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将仅截断一对中的第一个序列。
  • 'only_second'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将仅截断一对中的第二个序列。
  • False 或 'do_not_truncate' (默认)：不截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数所使用的最大长度。

  如果未设置或设置为 None，则在截断/填充参数需要最大长度时，将使用预定义模型的最大长度。如果模型没有特定的最大输入长度（如 XLNet），则最大长度的截断/填充将停用。

• stride (int, 可选, 默认为 0) — 如果设置为一个数字并与 max_length 一起使用，当 return_overflowing_tokens=True 时，返回的溢出标记将包含截断序列末尾的一些标记，以提供截断序列和溢出序列之间的一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预分词（例如，按单词拆分）。如果设置为 True，则分词器假定输入已按单词拆分（例如，通过按空格拆分），然后对其进行分词。这对于命名实体识别（NER）或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到给定值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
• padding_side (str, 可选) — 模型应该应用填充的侧面。应在 ['right', 'left'] 中选择。默认值取自同名类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• **kwargs — 传递给 .tokenize() 方法。

文本的分词 ID。

参数

• text (str, list[str] 或（对于非快速分词器）list[int]) — 要编码的第一个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。
• text_pair (str, list[str] 或 list[int], 可选) — 要编码的可选第二个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。
• add_special_tokens (bool, 可选, 默认为 True) — 编码序列时是否添加特殊标记。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义哪些标记会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 标记，这会很有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活和控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad' (默认)：不填充（即，可以输出长度不同的序列批次）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活和控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将逐个标记截断，从对中最长的序列中移除一个标记。
  • 'only_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将仅截断一对中的第一个序列。
  • 'only_second'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将仅截断一对中的第二个序列。
  • False 或 'do_not_truncate' (默认)：不截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数所使用的最大长度。

  如果未设置或设置为 None，则在截断/填充参数需要最大长度时，将使用预定义模型的最大长度。如果模型没有特定的最大输入长度（如 XLNet），则最大长度的截断/填充将停用。

• stride (int, 可选, 默认为 0) — 如果设置为一个数字并与 max_length 一起使用，当 return_overflowing_tokens=True 时，返回的溢出标记将包含截断序列末尾的一些标记，以提供截断序列和溢出序列之间的一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预分词（例如，按单词拆分）。如果设置为 True，则分词器假定输入已按单词拆分（例如，通过按空格拆分），然后对其进行分词。这对于命名实体识别（NER）或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到给定值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
• padding_side (str, 可选) — 模型应该应用填充的侧面。应在 ['right', 'left'] 中选择。默认值取自同名类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回标记类型 ID。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回标记类型 ID。

  什么是标记类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出标记序列。如果提供了一对输入 ID 序列（或一批对）且 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出标记。
• return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回每个标记的 (char_start, char_end)。

  这仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 可以是：
  • 一个字符串，是托管在 huggingface.co 模型仓库中的预定义分词器的模型 ID。
  • 一个包含分词器所需词汇文件的目录路径，例如使用 save_pretrained() 方法保存的目录，例如 ./my_model_directory/。
  • (已弃用，不适用于所有派生类) 单个已保存词汇文件的路径或 URL（当且仅当分词器只需要一个词汇文件，如 Bert 或 XLNet 时），例如 ./my_model_directory/vocab.txt。
• cache_dir (str 或 os.PathLike, 可选) — 如果不使用标准缓存，则下载的预定义分词器词汇文件应缓存到的目录路径。
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载词汇文件并覆盖缓存版本（如果存在）。
• resume_download — 已弃用并忽略。现在所有下载默认都会在可能的情况下恢复。将在 Transformers v5 中移除。
• proxies (dict[str, str], 可选) — 要按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• token (str 或 bool, 可选) — 用于远程文件的 HTTP 授权令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
• local_files_only (bool, 可选, 默认为 False) — 是否仅依赖本地文件而不尝试下载任何文件。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们使用基于 Git 的系统在 huggingface.co 上存储模型和其他工件，因此 revision 可以是 Git 允许的任何标识符。
• subfolder (str, 可选) — 如果相关文件位于 huggingface.co 上模型仓库的子文件夹中（例如，对于 facebook/rag-token-base），请在此处指定。
• inputs (附加位置参数，可选) — 将传递给分词器 __init__ 方法。
• trust_remote_code (bool, 可选, 默认为 False) — 是否允许 Hub 上自定义模型在其自己的建模文件中定义。此选项仅应在您信任且已阅读其代码的仓库中设置为 True，因为它将在您的本地机器上执行 Hub 上存在的代码。
• kwargs (附加关键字参数，可选) — 将传递给分词器 __init__ 方法。可用于设置特殊标记，如 bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens。有关更多详细信息，请参阅 __init__ 中的参数。

参数

• chat_template (str, 可选) — 用于此转换的 Jinja 模板或模板名称。通常不需要向此参数传递任何内容，因为默认将使用模型的模板。
• tools (list[Dict], 可选) — 模型可访问的工具（可调用函数）列表。如果模板不支持函数调用，此参数将无效。每个工具都应以 JSON Schema 形式传递，提供工具的名称、描述和参数类型。有关更多信息，请参阅我们的聊天模板指南。

聊天模板字符串。

参数

• token_ids_0 (list[int]) — 第一个序列的 ID 列表。
• token_ids_1 (list[int], 可选) — 第二个序列的 ID 列表。
• already_has_special_tokens (bool, 可选, 默认为 False) — 令牌列表是否已用模型的特殊令牌格式化。

特殊令牌为 1，序列令牌为 0。

词汇表。

参数

• encoded_inputs (BatchEncoding, BatchEncoding 列表, dict[str, list[int]], dict[str, list[list[int]] 或 list[dict[str, list[int]]]) — 经过分词的输入。可以表示单个输入（BatchEncoding 或 dict[str, list[int]]）或一批经过分词的输入（BatchEncoding 列表, dict[str, list[list[int]]] 或 list[dict[str, list[int]]]），因此您可以在预处理以及 PyTorch Dataloader 的 collate 函数中使用此方法。

  除了 list[int] 之外，您还可以使用张量（Numpy 数组、PyTorch 张量或 TensorFlow 张量），有关返回类型请参见上面的说明。

• padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 在以下策略中选择一种填充返回序列的策略（根据模型的填充侧和填充索引）：
  • True 或 'longest'（默认）：填充到批处理中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'：不填充（即可以输出具有不同长度序列的批处理）。
• max_length (int, 可选) — 返回列表的最大长度以及可选的填充长度（见上文）。
• pad_to_multiple_of (int, 可选) — 如果设置，序列将填充到所提供值的倍数。

  这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Core 特别有用。

• padding_side (str, 可选) — 模型应在哪个方向应用填充。应在 ['right', 'left'] 中选择。默认值取自同名的类属性。
• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。

参数

• ids (list[int]) — 第一个序列的分词输入 ID。可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• pair_ids (list[int], 可选) — 第二个序列的分词输入 ID。可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• add_special_tokens (bool, 可选, 默认为 True) — 在编码序列时是否添加特殊令牌。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些令牌会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 令牌，这将非常有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批处理中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认）：不填充（即可以输出具有不同长度序列的批处理）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将逐个令牌截断，从对中最长的序列中移除一个令牌。
  • 'only_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将只截断一对中的第一个序列。
  • 'only_second'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批对），这将只截断一对中的第二个序列。
  • False 或 'do_not_truncate'（默认）：不截断（即可以输出序列长度大于模型最大允许输入大小的批处理）。
• max_length (int, 可选) — 控制截断/填充参数之一要使用的最大长度。

  如果未设置或设置为 None，这将使用预定义的模型最大长度（如果截断/填充参数之一需要最大长度）。如果模型没有特定的最大输入长度（如 XLNet），则最大长度的截断/填充将被停用。

• stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为数字，当 return_overflowing_tokens=True 时返回的溢出令牌将包含截断序列末尾的一些令牌，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠令牌的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经过预分词（例如，拆分成单词）。如果设置为 True，分词器将假定输入已经拆分成单词（例如，通过按空格拆分），然后对其进行分词。这对于 NER 或令牌分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到所提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Core 特别有用。
• padding_side (str, 可选) — 模型应在哪个方向应用填充。应在 ['right', 'left'] 中选择。默认值取自同名的类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回令牌类型 ID。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回令牌类型 ID。

  什么是令牌类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出令牌序列。如果提供了一对输入 ID 序列（或一批对），并且 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出令牌。
• return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊令牌掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否为每个令牌返回 (char_start, char_end)。

  这仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用，如果使用 Python 的分词器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• src_texts (list[str]) — 要概括的文档列表或源语言文本。
• tgt_texts (list, 可选) — 摘要列表或目标语言文本。
• max_length (int, 可选) — 控制编码器输入（要概括的文档或源语言文本）的最大长度。如果未设置或设置为 None，则如果截断/填充参数之一需要最大长度，此项将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则最大长度的截断/填充将被停用。
• max_target_length (int, 可选) — 控制解码器输入（目标语言文本或摘要）的最大长度。如果未设置或设置为 None，将使用 `max_length` 值。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest': 填充到批次中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length': 填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad' (默认): 不填充（即可以输出不同长度序列的批次）。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 Numpy np.ndarray 对象。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 True) — 激活并控制截断。接受以下值：
  • True 或 'longest_first': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将逐个截断令牌，从对中最长的序列中移除一个令牌。
  • 'only_first': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将只截断一对中的第一个序列。
  • 'only_second': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将只截断一对中的第二个序列。
  • False 或 'do_not_truncate' (默认): 不截断（即可以输出序列长度大于模型最大可接受输入大小的批次）。
• **kwargs — 传递给 self.__call__ 的额外关键字参数。

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到编码器的令牌 ID 列表。
• attention_mask — 指定模型应关注哪些令牌的索引列表。
• labels — tgt_texts 的令牌 ID 列表。

如果传递了 tgt_texts，则只会返回完整的键集 [input_ids, attention_mask, labels]。否则，input_ids 和 attention_mask 将是唯一的键。

参数

• repo_id (str) — 您要将分词器推送到的存储库名称。当推送到某个组织时，应包含您的组织名称。
• use_temp_dir (bool, 可选) — 是否使用临时目录来存储在推送到 Hub 之前保存的文件。如果没有名为 repo_id 的目录，则默认为 True，否则为 False。
• commit_message (str, 可选) — 推送时要提交的消息。默认为 "Upload tokenizer"。
• private (bool, 可选) — 是否将存储库设为私有。如果为 None (默认)，则存储库将是公开的，除非组织的默认设置为私有。如果存储库已存在，则此值将被忽略。
• token (bool 或 str, 可选) — 用作远程文件 HTTP 承载授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str, 可选, 默认为 "5GB") — 仅适用于模型。分片前检查点的最大大小。检查点分片的大小将小于此大小。如果表示为字符串，则需要是数字后跟单位（如 "5MB"）。我们默认设置为 "5GB"，以便用户可以在免费的 Google Colab 实例上轻松加载模型，而不会出现 CPU OOM 问题。
• create_pr (bool, 可选, 默认为 False) — 是否创建包含上传文件的 PR，或直接提交。
• safe_serialization (bool, 可选, 默认为 True) — 是否将模型权重转换为 safetensors 格式以实现更安全的序列化。
• revision (str, 可选) — 要将上传文件推送到的分支。
• commit_description (str, 可选) — 将创建的提交的描述。
• tags (list[str], 可选) — 要推送到 Hub 的标签列表。

参数

• auto_class (str 或 type, 可选, 默认为 "AutoTokenizer") — 用于注册此新分词器的自动类。

参数

• save_directory (str 或 os.PathLike) — 分词器将保存到的目录路径。
• legacy_format (bool, 可选) — 仅适用于快速分词器。如果未设置（默认），将以统一的 JSON 格式以及旧格式（如果存在）保存分词器，即使用分词器特定的词汇表和单独的 added_tokens 文件。

  如果为 False，将仅以统一的 JSON 格式保存分词器。此格式与“慢速”分词器（不由 tokenizers 库提供支持）不兼容，因此分词器将无法加载到相应的“慢速”分词器中。

  如果为 True，将以旧格式保存分词器。如果“慢速”分词器不存在，则会引发值错误。

• filename_prefix (str, 可选) — 要添加到分词器保存文件名称的前缀。
• push_to_hub (bool, 可选, 默认为 False) — 保存模型后是否将其推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到的存储库（默认为您命名空间中 save_directory 的名称）。
• kwargs (dict[str, Any], 可选) — 传递给 push_to_hub() 方法的额外关键字参数。

保存的文件。

参数

• save_directory (str) — 保存词汇表的目录。
• filename_prefix (str, 可选) — 要添加到已保存文件名称的可选前缀。

保存的文件路径。

参数

• text (str) — 要编码的序列。
• pair (str, 可选) — 与第一个序列一起编码的第二个序列。
• add_special_tokens (bool, 可选, 默认为 False) — 是否添加与相应模型关联的特殊令牌。
• kwargs (额外关键字参数，可选) — 将传递给底层模型特定编码方法。详见 call()

令牌列表。

参数

• ids (list[int]) — 第一个序列的令牌化输入 ID。可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串获取。
• pair_ids (list[int], 可选) — 第二个序列的令牌化输入 ID。可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串获取。
• num_tokens_to_remove (int, 可选, 默认为 0) — 使用截断策略要移除的令牌数量。
• truncation_strategy (str 或 TruncationStrategy, 可选, 默认为 'longest_first') — 截断要遵循的策略。可以是：
  • 'longest_first': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将逐个截断令牌，从对中最长的序列中移除一个令牌。
  • 'only_first': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将只截断一对中的第一个序列。
  • 'only_second': 截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或批次），这将只截断一对中的第二个序列。
  • 'do_not_truncate' (默认): 不截断（即可以输出序列长度大于模型最大可接受输入大小的批次）。
• stride (int, 可选, 默认为 0) — 如果设置为正数，则返回的溢出令牌将包含主序列中的一些令牌。此参数的值定义了额外令牌的数量。

截断后的 ids、截断后的 pair_ids 和溢出令牌列表。注意：如果提供一对序列（或批次），longest_first 策略返回空的溢出令牌列表。

参数

• special_tokens_dict (字典，键为 str，值为 str、tokenizers.AddedToken 或 Sequence[Union[str, AddedToken]]) — 键应在预定义特殊属性列表中：[bos_token, eos_token, unk_token, sep_token, pad_token, cls_token, mask_token, additional_special_tokens]。

  仅当标记尚未存在于词汇表中时才添加（通过检查分词器是否为它们分配 unk_token 的索引来测试）。

• replace_additional_special_tokens (bool, 可选, 默认为 True) — 如果为 True，则现有的额外特殊标记列表将被 special_tokens_dict 中提供的列表替换。否则，self._special_tokens_map["additional_special_tokens"] 仅会扩展。在前一种情况下，标记不会从分词器的完整词汇表中移除 - 它们仅被标记为非特殊标记。请记住，这仅影响解码时跳过的标记，而不影响 added_tokens_encoder 和 added_tokens_decoder。这意味着以前的 additional_special_tokens 仍然是添加的标记，并且不会被模型拆分。

添加到词汇表的标记数量。

参数

• new_tokens (str、tokenizers.AddedToken 或 str 或 tokenizers.AddedToken 的序列) — 仅当标记尚未存在于词汇表中时才添加。tokenizers.AddedToken 包装了一个字符串标记，允许您个性化其行为：此标记是否应仅与单个单词匹配，此标记是否应去除左侧所有可能的空格，此标记是否应去除右侧所有可能的空格等。
• special_tokens (bool, 可选, 默认为 False) — 可用于指定标记是否为特殊标记。这主要改变标准化行为（例如，像 CLS 或 [MASK] 这样的特殊标记通常不会被小写）。

  有关 HuggingFace 分词器库中 tokenizers.AddedToken 的详细信息，请参阅。

添加到词汇表的标记数量。