参数

• text (str, List[str], List[List[str]], *可选*) — 要编码的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列作为字符串列表（预分词）提供，则必须设置 is_split_into_words=True （以消除与序列批次的歧义）。
• text_pair (str, List[str], List[List[str]], *可选*) — 要编码的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列作为字符串列表（预分词）提供，则必须设置 is_split_into_words=True （以消除与序列批次的歧义）。
• text_target (str, List[str], List[List[str]], *可选*) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列作为字符串列表（预分词）提供，则必须设置 is_split_into_words=True （以消除与序列批次的歧义）。
• text_pair_target (str, List[str], List[List[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预先分词的字符串）。如果序列以字符串列表（预先分词的）提供，则必须设置 is_split_into_words=True（以消除与一批序列的歧义）。
• add_special_tokens (bool, 可选, 默认值 True) — 在对序列进行编码时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 标记，则此选项很有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认值 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者填充到模型可接受的最大输入长度（如果未提供该参数）。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出具有不同长度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认值 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断为使用参数 max_length 指定的最大长度，或者截断为模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将逐个标记地进行截断，从最长序列中删除一个标记。
  • 'only_first'：截断为使用参数 max_length 指定的最大长度，或者截断为模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第一序列。
  • 'only_second'：截断为使用参数 max_length 指定的最大长度，或者截断为模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第二序列。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, 可选) — 控制其中一个截断/填充参数使用的最大长度。

  如果未设置或设置为 None，这将使用预定义的模型最大长度（如果其中一个截断/填充参数需要最大长度）。如果模型没有特定的最大输入长度（如 XLNet），则将停用截断/填充到最大长度。

• stride (int，*可选*，默认为 0) — 如果与 max_length 一起设置为某个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含来自返回的截断序列末尾的一些标记，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool，*可选*，默认为 False) — 输入是否已预先分词（例如，按空格拆分为单词）。如果设置为 True，则分词器假定输入已拆分为单词（例如，通过按空格拆分），它将对其进行分词。这对于 NER 或标记分类很有用。
• pad_to_multiple_of (int，*可选*) — 如果设置，则将序列填充到所提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
• padding_side (str，*可选*) — 模型应该在其上应用填充的一侧。应在 [‘right’, ‘left’] 之间选择。默认值取自同名类属性。
• return_tensors (str 或 TensorType，*可选*) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool，*可选*) — 是否返回标记类型 ID。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回标记类型 ID。

  什么是标记类型 ID？

• return_attention_mask (bool，*可选*) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认值（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出的标记序列。如果一对输入 ID 序列（或一批对）使用 truncation_strategy = longest_first 或 True 提供，则会引发错误，而不是返回溢出的标记。
• return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否为每个标记返回 (char_start, char_end)。

  这仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。 **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段

• input_ids — 要输入到模型的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型的标记类型 ID 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应该关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列的列表（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的标记数量（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 由 0 和 1 组成的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 并且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• conversation (Union[List[Dict[str, str]], List[List[Dict[str, str]]]]) — 包含“role”和“content”键的字典列表，表示到目前为止的聊天历史记录。
• tools (List[Dict], 可选) — 模型可访问的工具（可调用函数）列表。如果模板不支持函数调用，则此参数无效。每个工具都应作为 JSON Schema 传递，给出工具的名称、描述和参数类型。有关更多信息，请参阅我们的 聊天模板指南。
• documents (List[Dict[str, str]], 可选) — 如果模型正在执行 RAG（检索增强生成），则表示模型可访问的文档的字典列表。如果模板不支持 RAG，则此参数无效。我们建议每个文档都应该是包含“title”和“text”键的字典。有关使用聊天模板传递文档的示例，请参阅 聊天模板指南 的 RAG 部分。
• chat_template (str, 可选) — 用于此转换的 Jinja 模板。通常不需要向此参数传递任何内容，因为默认情况下将使用模型的模板。
• add_generation_prompt (bool, 可选) — 如果设置了此选项，则会在格式化输出中追加一个提示，其中包含指示助手消息开始的标记。当您想从模型生成响应时，这很有用。请注意，此参数将传递给聊天模板，因此必须在模板中支持此参数才能生效。
• continue_final_message (bool, 可选) — 如果设置了此选项，则聊天将被格式化，以便聊天中的最后一条消息是开放式的，没有任何 EOS 标记。模型将继续此消息，而不是开始新消息。这允许您为模型“预填充”其响应的一部分。不能与 add_generation_prompt 同时使用。
• tokenize (bool, 默认值为 True) — 是否对输出进行分词。如果为 False，则输出将是一个字符串。
• padding (bool, 默认值为 False) — 是否将序列填充到最大长度。如果 tokenize 为 False，则无效。
• truncation (bool, 默认值为 False) — 是否在达到最大长度时截断序列。如果 tokenize 为 False，则无效。
• max_length (int, 可选) — 用于填充或截断的最大长度（以标记为单位）。如果 tokenize 为 False，则无效。如果未指定，则将使用分词器的 max_length 属性作为默认值。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。如果 tokenize 为 False，则无效。可接受的值为：
  • 'tf'：返回 TensorFlow tf.Tensor 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
  • 'jax'：返回 JAX jnp.ndarray 对象。
• return_dict (bool，默认为 False) — 是否返回包含命名输出的字典。如果 `tokenize` 为 `False`，则无效。
• tokenizer_kwargs (Dict[str -- Any]，可选): 传递给分词器的额外关键字参数。
• return_assistant_tokens_mask (bool，默认为 False) — 是否返回助手生成token的掩码。对于助手生成的token，掩码将包含 1。对于用户和系统token，掩码将包含 0。此功能仅适用于通过 `{% generation %}` 关键字支持它的聊天模板。 **kwargs — 传递给模板渲染器的额外关键字参数。聊天模板可以访问这些参数。

表示到目前为止已分词的聊天的token ID列表，包括控制token。此输出可以直接或通过 `generate()` 等方法传递给模型。如果设置了 `return_dict`，则将返回分词器输出的字典。

参数

• sequences (Union[List[int], List[List[int]], np.ndarray, torch.Tensor, tf.Tensor]) — 已分词的输入 ID 列表。可以使用 `__call__` 方法获取。
• skip_special_tokens (bool，*可选*，默认为 False) — 解码时是否移除特殊标记。
• clean_up_tokenization_spaces (bool，*可选*) — 是否清理标记化空格。如果为 None，则默认为 self.clean_up_tokenization_spaces。
• kwargs (其他关键字参数，*可选*) — 将传递给底层模型特定的解码方法。

解码后的句子列表。

参数

• batch_text_or_text_pairs (List[str]、List[Tuple[str, str]]、List[List[str]]、List[Tuple[List[str], List[str]]] 以及对于非快速分词器，还有 List[List[int]]、List[Tuple[List[int], List[int]]]) — 要编码的序列或序列对的批次。这可以是字符串/字符串序列/整数序列的列表，也可以是字符串/字符串序列/整数序列对的列表（有关详细信息，请参阅 encode_plus）。
• add_special_tokens (bool, 可选, 默认值: True) — 编码序列时是否添加特殊标记。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 标记，这将非常有用。
• padding (bool、str 或 PaddingStrategy, 可选, 默认值: False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长序列的长度（如果只提供了一个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认值）：不填充（即，可以输出包含不同长度序列的批次）。
• truncation (bool、str 或 TruncationStrategy, 可选, 默认值: False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将逐个标记地截断，从最长序列中删除一个标记。
  • 'only_first'：截断到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第一条序列。
  • 'only_second'：截断到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第二条序列。
  • False 或 'do_not_truncate'（默认值）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数之一使用的最大长度。

  如果未设置或设置为 None，并且截断/填充参数之一需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将停用截断/填充到最大长度的功能。

• stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为某个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含来自返回的截断序列末尾的一些标记，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已预先标记化（例如，按空格拆分为单词）。如果设置为 True，则分词器假定输入已被拆分为单词（例如，通过按空格拆分），它将对其进行标记化。这对于 NER 或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充到所提供值的倍数。需要激活 padding。这对于在具有 >= 7.5 (Volta) 计算能力的 NVIDIA 硬件上使用 Tensor Core 特别有用。
• padding_side (str, 可选) — 模型应该在其上应用填充的一侧。应在 [‘right’, ‘left’] 之间选择。默认值从同名的类属性中选取。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值有：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回标记类型 ID。如果保留默认值，则将根据特定分词器的默认值返回标记类型 ID，该默认值由 return_outputs 属性定义。

  什么是标记类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，则将根据特定分词器的默认值返回注意力掩码，由 return_outputs 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认值为 False) — 是否返回溢出的标记序列。如果提供了一对输入 ID 序列（或一批对）以及 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出的标记。
• return_special_tokens_mask (bool, 可选, 默认值为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认值为 False) — 是否为每个标记返回 (char_start, char_end)。

  这仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，则此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认值为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认值为 True) — 是否打印更多信息和警告。 **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段

• input_ids — 要输入到模型的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型的标记类型 ID 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应该关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列的列表（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的标记数量（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 由 0 和 1 组成的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 并且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• token_ids_0 (List[int]) — 第一个分词后的序列。
• token_ids_1 (List[int], 可选) — 第二个分词后的序列。

带有特殊标记的模型输入。

参数

• out_string (str) — 要清理的文本。

清理后的字符串。

参数

• tokens (List[str]) — 要连接成字符串的标记。

连接后的标记。

参数

• token_ids_0 (List[int]) — 第一个标记化的序列。
• token_ids_1 (List[int], 可选) — 第二个标记化的序列。

词类型 ID。

参数

• token_ids (Union[int, List[int], np.ndarray, torch.Tensor, tf.Tensor]) — 标记化输入 ID 列表。可以使用 __call__ 方法获取。
• skip_special_tokens (bool, 可选, 默认值: False) — 解码时是否删除特殊词。
• clean_up_tokenization_spaces (bool, 可选) — 是否清除标记化空格。如果为 None，则默认为 self.clean_up_tokenization_spaces。
• kwargs （其他关键字参数，可选 ）- 将传递给底层模型特定的解码方法。

解码后的句子。

参数

• text (str、List[str] 或 List[int]) - 要编码的第一个序列。这可以是一个字符串，一个字符串列表（使用 tokenize 方法标记化的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法标记化的字符串 id）。
• text_pair (str、List[str] 或 List[int]，可选) - 要编码的可选第二个序列。这可以是一个字符串，一个字符串列表（使用 tokenize 方法标记化的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法标记化的字符串 id）。
• add_special_tokens (bool，可选，默认为 True) - 编码序列时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义哪些标记会自动添加到输入 id 中。如果您想自动添加 bos 或 eos 标记，这将非常有用。
• **padding** (bool, str 或 PaddingStrategy, 可选, 默认值为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长序列的长度（如果只提供单个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出包含不同长度序列的批次）。
• **truncation** (bool, str 或 TruncationStrategy, 可选, 默认值为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将逐个标记地截断，从最长序列中删除标记。
  • 'only_first'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第一序列。
  • 'only_second'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第二序列。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• **max_length** (int, 可选) — 控制其中一个截断/填充参数使用的最大长度。

  如果未设置或设置为 None，并且其中一个截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将停用截断/填充到最大长度。

• **stride** (int, 可选, 默认值为 0) — 如果与 max_length 一起设置为某个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含来自返回的截断序列末尾的一些标记，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
• **is_split_into_words** (bool, 可选, 默认值为 False) — 输入是否已经预先分词（例如，按空格分割成单词）。如果设置为 True，则分词器假定输入已经分割成单词（例如，通过按空格分割），它将对其进行分词。这对 NER 或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充到所提供值的倍数。 需要激活 padding。 这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上使用 Tensor Core 特别有用。
• padding_side (str, 可选) — 模型应用填充的一侧。 应在 [‘right’, ‘left’] 中选择。 默认值取自同名类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，则返回张量而不是 Python 整数列表。 可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。

  **kwargs — 传递给 .tokenize() 方法。

文本的标记化 ID。

参数

• text (str, List[str] 或 (对于非快速分词器) List[int]) — 要编码的第一个序列。可以是字符串、字符串列表（使用 tokenize 方法分词后的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词后的字符串 ID）。
• text_pair (str, List[str] 或 List[int], 可选) — 要编码的可选第二个序列。可以是字符串、字符串列表（使用 tokenize 方法分词后的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词后的字符串 ID）。
• add_special_tokens (bool, 可选, 默认值 True) — 编码序列时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos 标记，这将非常有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认值 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批处理中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者填充到模型可接受的最大输入长度（如果未提供该参数）。
  • False 或 'do_not_pad'（默认值）：不填充（即，可以输出包含不同长度序列的批处理）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认值 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将逐个标记地截断，从最长的序列中删除一个标记。
  • 'only_first'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第一个序列。
  • 'only_second'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第二个序列。
  • False 或 'do_not_truncate'（默认值）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批处理）。
• max_length (int, 可选) — 控制通过某个截断/填充参数使用的最大长度。

  如果保留未设置或设置为 None，如果某个截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将停用对最大长度的截断/填充。

• stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为某个数字，则 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以便在截断序列和溢出序列之间提供一些重叠。此参数的值定义重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已预先标记化（例如，通过空格拆分为单词）。如果设置为 True，则分词器假定输入已拆分为单词（例如，通过在空格上拆分），它将对其进行标记化。这对于 NER 或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充到所提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
• padding_side (str, 可选) — 模型应该在其上应用填充的一侧。应该在 ['right', 'left'] 中选择。默认值取自同名类的属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值包括：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回Token类型ID。如果保留默认值，则将根据特定Tokenizer的默认值（由return_outputs属性定义）返回Token类型ID。

  什么是Token类型ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，则将根据特定Tokenizer的默认值（由return_outputs属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认值 False) — 是否返回溢出的Token序列。如果使用truncation_strategy = longest_first或True提供了一对输入ID序列（或一批对），则会引发错误，而不是返回溢出的Token。
• return_special_tokens_mask (bool, 可选, 默认值 False) — 是否返回特殊Token掩码信息。
• return_offsets_mapping (bool, 可选, 默认值 False) — 是否为每个Token返回(char_start, char_end)。

  这仅适用于继承自PreTrainedTokenizerFast的快速Tokenizer，如果使用Python的Tokenizer，此方法将引发NotImplementedError。

• return_length (bool, 可选, 默认值 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认值 True) — 是否打印更多信息和警告。 **kwargs — 传递给self.tokenize()方法

一个 BatchEncoding，包含以下字段

• input_ids — 要输入到模型的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型的标记类型 ID 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应该关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列的列表（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的标记数量（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 由 0 和 1 组成的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 并且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 可以是以下任意一种:
  • 字符串，huggingface.co 上模型仓库中托管的预定义标记器的*模型 ID*。
  • 包含标记器所需的词汇文件的*目录*的路径，例如使用 save_pretrained() 方法保存的目录，例如 ./my_model_directory/。
  • （**已弃用**，不适用于所有派生类）单个已保存词汇文件的路径或 URL（当且仅当标记器仅需要单个词汇文件时，例如 Bert 或 XLNet），例如 ./my_model_directory/vocab.txt。
• cache_dir (str 或 os.PathLike, *可选*) — 如果不应使用标准缓存，则为下载的预定义标记器词汇文件应缓存到的目录的路径。
• force_download (bool, *可选*, 默认为 False) — 是否强制（重新）下载词汇文件并覆盖缓存的版本（如果存在）。resume_download — 已弃用且被忽略。现在，所有下载在可能的情况下默认都会恢复。将在 Transformers 的 v5 版本中删除。
• proxies (Dict[str, str], *可选*) — 要按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器在每个请求中使用。
• token (str 或 bool，可选) — 用于远程文件的 HTTP 持有者授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
• local_files_only (bool，可选，默认为 False) — 是否仅依赖本地文件而不尝试下载任何文件。
• revision (str，可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们使用基于 Git 的系统在 huggingface.co 上存储模型和其他工件，所以 revision 可以是 Git 允许的任何标识符。
• subfolder (str，可选) — 如果相关文件位于 huggingface.co 上模型仓库的子文件夹中（例如 facebook/rag-token-base），请在此处指定。
• inputs（其他位置参数，可选) — 将传递给 Tokenizer 的 __init__ 方法。
• trust_remote_code (bool，可选，默认为 False) — 是否允许在其自己的建模文件中定义在 Hub 上的自定义模型。此选项应仅对您信任且已阅读代码的存储库设置为 True，因为它将在您的本地机器上执行 Hub 上的代码。
• kwargs（其他关键字参数，可选) — 将传递给 Tokenizer 的 __init__ 方法。可用于设置特殊标记，如 bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens。有关详细信息，请参阅 __init__ 中的参数。

参数

• chat_template (str, *可选*) — 用于此转换的 Jinja 模板或模板名称。通常不需要向此参数传递任何内容，因为默认情况下将使用模型的模板。
• tools (List[Dict], *可选*) — 模型可访问的工具（可调用函数）列表。如果模板不支持函数调用，则此参数将不起作用。每个工具都应作为 JSON Schema 传递，提供工具的名称、描述和参数类型。有关更多信息，请参阅我们的聊天模板指南。

聊天模板字符串。

参数

• token_ids_0 (List[int]) — 第一个序列的 ID 列表。
• token_ids_1 (List[int], *可选*) — 第二个序列的 ID 列表。
• already_has_special_tokens (bool, 可选, 默认值: False) — 标记列表是否已经为模型格式化了特殊标记。

1 表示特殊标记，0 表示序列标记。

词汇表。

参数

• encoded_inputs (BatchEncoding, BatchEncoding 列表, Dict[str, List[int]], Dict[str, List[List[int]] 或 List[Dict[str, List[int]]]) — 标记化的输入。 可以表示一个输入 (BatchEncoding 或 Dict[str, List[int]]) 或一批标记化的输入 (BatchEncoding 列表, Dict[str, List[List[int]]] 或 List[Dict[str, List[int]]])，因此您可以在预处理期间以及在 PyTorch Dataloader collate 函数中使用此方法。

  您可以使用张量（numpy 数组、PyTorch 张量或 TensorFlow 张量）代替 List[int]，有关返回类型，请参见上面的注释。

• padding (bool、str 或 PaddingStrategy，可选，默认为 True) — 选择一种策略来填充返回的序列（根据模型的填充方向和填充索引）：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供了一个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者填充到模型可接受的最大输入长度（如果未提供该参数）。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出包含不同长度序列的批次）。
• max_length (int，可选) — 返回列表的最大长度以及可选的填充长度（见上文）。
• pad_to_multiple_of (int，可选) — 如果设置，则将序列填充到所提供值的倍数。

  这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上使用 Tensor Core 特别有用。

• padding_side (str，可选) — 模型应用填充的一侧。应在 [‘right’, ‘left’] 之间选择。默认值取自同名的类属性。
• return_attention_mask (bool，可选) — 是否返回注意力掩码。如果保留默认值，则将根据特定分词器的默认值返回注意力掩码，该默认值由 return_outputs 属性定义。

  什么是注意力掩码？

• return_tensors (str 或 TensorType，可选) — 如果设置，则将返回张量而不是 Python 整数列表。可接受的值有：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• verbose (bool，可选，默认为 True) — 是否打印更多信息和警告。

参数

• ids (List[int]) — 第一个序列的标记化输入 ID。 可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• pair_ids (List[int], 可选) — 第二个序列的标记化输入 ID。 可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• add_special_tokens (bool, 可选, 默认值 True) — 在对序列进行编码时是否添加特殊标记。 这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。 如果您想自动添加 bos 或 eos 标记，这将非常有用。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长序列的长度（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者填充到模型可接受的最大输入长度（如果未提供该参数）。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出具有不同长度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将逐个标记地截断，从最长序列中删除标记。
  • 'only_first'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第一序列。
  • 'only_second'：截断到使用参数 max_length 指定的最大长度，或者截断到模型可接受的最大输入长度（如果未提供该参数）。如果提供了一对序列（或一批序列对），这将仅截断第二序列。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数使用的最大长度。

  如果未设置或设置为 None，并且截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将停用截断/填充到最大长度。

• stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为一个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预先分词（例如，通过空格分割）。如果设置为 True，则分词器假定输入已经分割成单词（例如，通过空格分割），它将对其进行分词。这对于 NER 或标记分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充到所提供值的倍数。需要激活padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
• padding_side (str, 可选) — 模型应该应用填充的一侧。应该在 [‘right’, ‘left’] 之间选择。默认值是从同名类属性中选取的。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回标记类型 ID。如果保留默认值，将根据特定标记器的默认值返回标记类型 ID，由 return_outputs 属性定义。

  什么是标记类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定标记器的默认值返回注意力掩码，由 return_outputs 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认值为 False) — 是否返回溢出的标记序列。如果一对输入 ID 序列（或一批对）使用 truncation_strategy = longest_first 或 True 提供，则会引发错误，而不是返回溢出的标记。
• return_special_tokens_mask (bool, 可选, 默认值为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回每个词符的 (char_start, char_end)。

  这仅适用于继承自 PreTrainedTokenizerFast 的快速词符化器，如果使用 Python 的词符化器，此方法将引发 NotImplementedError。

• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。 **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding，包含以下字段

• input_ids — 要输入到模型的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 要输入到模型的标记类型 ID 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应该关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列的列表（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的标记数量（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 由 0 和 1 组成的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 并且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• src_texts (List[str]) — 要概括的文档列表或源语言文本列表。
• tgt_texts (列表, 可选) — 摘要列表或目标语言文本列表。
• max_length (整数, 可选) — 控制编码器输入的最大长度（要汇总的文档或源语言文本）。如果未设置或设置为 None，则在截断/填充参数之一需要最大长度的情况下，将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则会停用截断/填充到最大长度的操作。
• max_target_length (整数, 可选) — 控制解码器输入的最大长度（目标语言文本或摘要）。如果未设置或设置为 None，则将使用 max_length 值。
• padding (布尔值, 字符串 或 PaddingStrategy, 可选, 默认值: False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供了一个序列，则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者填充到模型可接受的最大输入长度（如果未提供该参数）。
  • False 或 'do_not_pad'（默认值）：不填充（即，可以输出具有不同长度序列的批次）。
• return_tensors (字符串 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• truncation (bool、str 或 TruncationStrategy，可选，默认为 True) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将逐个标记地截断，从最长序列中删除一个标记。
  • 'only_first'：截断到参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第一序列。
  • 'only_second'：截断到参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），这将仅截断第二序列。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。 **kwargs — 传递给 self.__call__ 的其他关键字参数。

一个 BatchEncoding，包含以下字段

• input_ids — 要馈送到编码器的标记 ID 列表。
• attention_mask — 指定模型应关注哪些标记的索引列表。
• labels — tgt_texts 的标记 ID 列表。

仅当传递了 tgt_texts 时，才会返回完整的键集 [input_ids, attention_mask, labels]。否则，input_ids、attention_mask 将是唯一的键。

参数

• repo_id (str) — 要将您的分词器推送到哪个存储库的名称。当推送到给定组织时，它应该包含您的组织名称。
• use_temp_dir (bool，可选) — 是否使用临时目录来存储保存的文件，然后再将它们推送到 Hub。如果没有名为 repo_id 的目录，则默认为 True，否则为 False。
• commit_message (str，可选) — 推送时提交的信息。默认为 "Upload tokenizer"。
• private (bool，可选) — 创建的仓库是否应该是私有的。
• token (bool 或 str，可选) — 用于远程文件的 HTTP 持有者授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。如果未指定 repo_url，则默认为 True。
• max_shard_size (int 或 str，可选，默认为 "5GB") — 仅适用于模型。在进行分片之前，检查点的最大大小。然后，检查点分片的每个大小都将小于此大小。如果表示为字符串，则需要是数字后跟单位（例如 "5MB"）。我们默认将其设置为 "5GB"，以便用户可以在免费层的 Google Colab 实例上轻松加载模型，而不会出现任何 CPU OOM 问题。
• create_pr (bool，可选，默认为 False) — 是否使用上传的文件创建 PR 或直接提交。
• safe_serialization (bool，可选，默认为 True) — 是否将模型权重转换为 safetensors 格式以实现更安全的序列化。
• revision (str，可选) — 要将上传的文件推送到哪个分支。
• commit_description (str，可选) — 将创建的提交的描述
• tags (List[str]，可选) — 要推送到 Hub 的标签列表。

参数

• auto_class (str 或 type，可选，默认为 "AutoTokenizer") — 用于注册此新分词器的自动类。

参数

• save_directory (str 或 os.PathLike) — 将保存分词器的目录的路径。
• legacy_format (bool, 可选) - 仅适用于快速分词器。如果未设置（默认），则会将分词器保存为统一的 JSON 格式，以及如果存在则保存为旧格式，即使用分词器特定的词汇表和单独的 added_tokens 文件。

  如果为 False，则只会将分词器保存为统一的 JSON 格式。此格式与“慢速”分词器（不使用 tokenizers 库）不兼容，因此分词器将无法在相应的“慢速”分词器中加载。

  如果为 True，则会将分词器保存为旧格式。如果“慢速”分词器不存在，则会引发值错误。

• filename_prefix (str, 可选) - 要添加到分词器保存的文件名中的前缀。
• push_to_hub (bool, 可选, 默认为 False) - 保存模型后是否将其推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到的存储库（默认为您命名空间中的 save_directory 名称）。
• kwargs (Dict[str, Any], 可选) - 传递给 push_to_hub() 方法的附加关键字参数。

保存的文件。

参数

• save_directory (str) - 保存词汇表的目录。
• filename_prefix (str, 可选) — 要添加到已保存文件名称中的可选前缀。

已保存文件的路径。

参数

• text (str) — 要编码的序列。
• pair (str, 可选) — 要与第一个序列一起编码的第二个序列。
• add_special_tokens (bool, 可选, 默认值: False) — 是否添加与相应模型关联的特殊标记。
• kwargs (其他关键字参数, 可选) — 将传递给底层模型特定的编码方法。有关详细信息，请参阅 call()

标记列表。

参数

• ids (List[int]) — 第一个序列的标记化输入 ID。 可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• pair_ids (List[int], 可选) — 第二个序列的标记化输入 ID。 可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串中获取。
• num_tokens_to_remove (int, 可选, 默认值: 0) — 使用截断策略要移除的标记数量。
• truncation_strategy (str 或 TruncationStrategy, 可选, 默认值: 'longest_first') — 要遵循的截断策略。 可以是：
  • 'longest_first'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。 如果提供了一对序列（或一批对），这将逐个标记地截断，从最长序列中移除一个标记。
  • 'only_first'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。 如果提供了一对序列（或一批对），这将仅截断第一序列。
  • 'only_second'：截断到使用参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。 如果提供了一对序列（或一批对），这将仅截断第二序列。
  • 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• stride (int, 可选, 默认值: 0) — 如果设置为正数，则返回的溢出标记将包含来自返回的主序列的一些标记。 此参数的值定义了其他标记的数量。

截断后的 ids，截断后的 pair_ids 和溢出标记列表。 注意：如果提供了一对序列（或一批对），则 longest_first 策略将返回空的溢出标记列表。

参数

• special_tokens_dict (str 到 str 或 tokenizers.AddedToken 的字典) — 键应位于预定义的特殊属性列表中： [bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens]。

  仅当标记不在词汇表中时才会添加它们（通过检查分词器是否为它们分配了 unk_token 的索引来进行测试）。

• replace_additional_special_tokens (bool, 可选，默认为 True) — 如果为 True，则现有的额外特殊标记列表将被 special_tokens_dict 中提供的列表替换。 否则，self._additional_special_tokens 将被扩展。 在前一种情况下，标记不会从分词器的完整词汇表中删除 - 它们只是被标记为非特殊标记。 请记住，这只会影响在解码期间跳过哪些标记，而不会影响 added_tokens_encoder 和 added_tokens_decoder。 这意味着以前的 additional_special_tokens 仍然是添加的标记，并且不会被模型拆分。

添加到词汇表中的标记数量。

参数

• new_tokens (str, tokenizers.AddedToken 或 str 或 tokenizers.AddedToken 列表) — 仅当新标记不在词汇表中时才会添加。 tokenizers.AddedToken 包装字符串标记，以便您个性化其行为：此标记是否应仅与单个单词匹配，此标记是否应去除左侧的所有潜在空格，此标记是否应去除右侧的所有潜在空格，等等。
• special_tokens (bool, 可选, 默认为 False) — 可用于指定标记是否是特殊标记。这主要改变了规范化行为（例如，像 CLS 或 [MASK] 这样的特殊标记通常不会小写）。

  有关 HuggingFace 分词器库中的 tokenizers.AddedToken 的详细信息，请参阅详细信息。

添加到词汇表中的标记数量。