分词器 (Tokenizer)

分词器负责为模型准备输入。该库包含了适用于所有模型的分词器。大多数分词器有两种版本：一种是纯 Python 实现，另一种是基于 Rust 库 🤗 Tokenizers 的“快速 (Fast)”实现。“快速”实现支持

显著的提速，特别是在进行批量分词时；以及
提供额外的映射方法，用于在原始字符串（字符和词）与分词空间之间进行转换（例如，获取给定字符对应的分词索引，或给定分词对应的字符范围）。

基类 PreTrainedTokenizer 和 PreTrainedTokenizerFast 实现了将字符串输入编码为模型输入（见下文）的通用方法，并支持从本地文件或目录，或从库提供的预训练分词器（从 HuggingFace 的 AWS S3 存储库下载）实例化/保存 Python 和“快速”分词器。它们都依赖于包含通用方法的 PreTrainedTokenizerBase。

PreTrainedTokenizer 和 PreTrainedTokenizerFast 因此实现了使用所有分词器的主要方法：

分词（将字符串拆分为子词 Token 字符串）、转换 Token 字符串到 ID（反之亦然），以及编码/解码（即分词并转换为整数）。
以独立于底层结构（BPE、SentencePiece 等）的方式向词汇表添加新 Token。
管理特殊 Token（如掩码、句首标识等）：添加它们，将它们分配给分词器属性以便轻松访问，并确保它们在分词过程中不会被拆分。

BatchEncoding 持有 PreTrainedTokenizerBase 编码方法（__call__、encode_plus 和 batch_encode_plus）的输出，它派生自 Python 字典。当分词器是纯 Python 分词器时，此类表现得就像标准的 Python 字典，并包含这些方法计算出的各种模型输入（input_ids、attention_mask 等）。当分词器是“快速”分词器（即由 HuggingFace tokenizers 库支持）时，该类还额外提供了几种高级对齐方法，可用于在原始字符串（字符和词）与分词空间之间进行映射（例如，获取给定字符对应的分词索引，或给定分词对应的字符范围）。

多模态分词器 (Multimodal Tokenizer)

除此之外，每个分词器都可以是“多模态”分词器，这意味着分词器将把所有相关的特殊 Token 作为分词器属性的一部分，以便于访问。例如，如果分词器是从 LLaVA 这样的视觉语言模型加载的，你将能够通过 tokenizer.image_token_id 访问并获取用作占位符的特殊图像 Token。

若要为任何类型的分词器启用额外的特殊 Token，你需要添加以下几行代码并保存分词器。额外的特殊 Token 不一定要与模态相关，可以是模型经常需要访问的任何内容。在下面的代码中，位于 output_dir 的分词器将能够直接访问另外三个特殊 Token。

vision_tokenizer = AutoTokenizer.from_pretrained(
    "llava-hf/llava-1.5-7b-hf",
    extra_special_tokens={"image_token": "<image>", "boi_token": "<image_start>", "eoi_token": "<image_end>"}
)
print(vision_tokenizer.image_token, vision_tokenizer.image_token_id)
("<image>", 32000)

PreTrainedTokenizer

class transformers.PythonBackend

< 源代码 >

( **kwargs )

参数

model_max_length (int, 可选) — Transformer 模型输入的最大长度（以 Token 数量计）。当通过 from_pretrained() 加载分词器时，该值将被设置为关联模型在 max_model_input_sizes 中存储的值（见上文）。如果未提供值，则默认为极大整数（int(1e30)）。
padding_side (str, 可选) — 模型应在其上应用填充 (padding) 的一侧。应从 ['right', 'left'] 中选择。默认值取自同名的类属性。
truncation_side (str, 可选) — 模型应在其上应用截断 (truncation) 的一侧。应从 ['right', 'left'] 中选择。默认值取自同名的类属性。
chat_template (str, 可选) — 用于格式化聊天消息列表的 Jinja 模板字符串。请参阅 https://huggingface.co/docs/transformers/chat_templating 获取完整描述。
model_input_names (list[string], 可选) — 模型前向传播所接受的输入列表（如 "token_type_ids" 或 "attention_mask"）。默认值取自同名的类属性。
bos_token (str 或 tokenizers.AddedToken, 可选) — 表示句首的特殊 Token。
eos_token (str 或 tokenizers.AddedToken, 可选) — 表示句末的特殊 Token。
unk_token (str 或 tokenizers.AddedToken, 可选) — 表示词汇表外 Token 的特殊 Token。
sep_token (str 或 tokenizers.AddedToken, 可选) — 用于分隔同一输入中两个不同句子的特殊 Token（例如 BERT 所使用）。
pad_token (str 或 tokenizers.AddedToken, 可选) — 用于将 Token 数组调整为相同大小以进行批处理的特殊 Token。随后将被注意力机制或损失计算忽略。
cls_token (str 或 tokenizers.AddedToken, 可选) — 表示输入类别的特殊 Token（例如 BERT 所使用）。
mask_token (str 或 tokenizers.AddedToken, 可选) — 表示被掩码 Token 的特殊 Token（用于掩码语言建模预训练目标，如 BERT）。将与 self.mask_token 和 self.mask_token_id 关联。
extra_special_tokens (str 或 tokenizers.AddedToken 的列表, 可选) — 额外的模型特定特殊 Token 列表。在此处添加它们可确保在设置 skip_special_tokens=True 进行解码时将其跳过。如果它们不属于词汇表，则会被添加到词汇表的末尾。
split_special_tokens (bool, 可选, 默认为 False) — 是否在分词过程中拆分特殊 Token。传递该参数将影响分词器的内部状态。默认行为是不拆分特殊 Token。这意味着如果 <s> 是 bos_token，则 tokenizer.tokenize("<s>") = ['<s>']。否则，如果 split_special_tokens=True，则 tokenizer.tokenize("<s>") 将产生 ['<', 's', '>']。

所有慢速分词器的基类。

继承自 PreTrainedTokenizerBase。

处理所有分词和特殊 Token 的共享方法，以及下载/缓存/加载预训练分词器以及向词汇表添加 Token 的方法。

该类还以统一方式包含所有分词器之上的已添加 Token，因此我们不必处理各种底层字典结构（BPE、sentencepiece 等）特定的词汇表扩充方法。

类属性（由派生类覆盖）

vocab_files_names (dict[str, str]) — 一个字典，其键是模型所需的每个词汇表文件的 __init__ 关键字名称，对应的值是保存相关文件时的文件名（字符串）。
pretrained_vocab_files_map (dict[str, dict[str, str]]) — 字典的字典，高层键是模型所需的每个词汇表文件的 __init__ 关键字名称，底层键是预训练模型的 short-cut-names，其值是关联的预训练词汇表文件的 url。
model_input_names (list[str]) — 模型正向传播中预期的输入列表。
padding_side (str) — 模型应该应用填充的侧面的默认值。应为 'right' 或 'left'。
truncation_side (str) — 模型应该应用截断的侧面的默认值。应为 'right' 或 'left'。

call

< 源代码 >

参数

text (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须将 is_split_into_words=True 设置为真（以消除与序列批次的歧义）。
text_pair (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须将 is_split_into_words=True 设置为真（以消除与序列批次的歧义）。
text_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须将 is_split_into_words=True 设置为真（以消除与序列批次的歧义）。
text_pair_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须将 is_split_into_words=True 设置为真（以消除与序列批次的歧义）。
tokenizer_kwargs (dict[str, Any], 可选) — 传递给分词器的附加关键字参数。这些参数将与显式参数和其他关键字参数合并，显式参数具有更高的优先级。
add_special_tokens (bool, 可选, 默认为 True) — 在编码序列时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了自动添加到输入ID中的标记。如果你想自动添加 bos 或 eos 标记，这很有用。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
- True 或 'longest'：填充到批次中最长的序列（如果仅提供单个序列，则不填充）。
- 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad' (默认)：不填充（即，可以输出具有不同序列长度的批次）。
truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
- True 或 'longest_first'：截断至由参数 max_length 指定的最大长度，或如果未提供该参数，则截断至模型可接受的最大输入长度。这将逐个标记地进行截断，如果提供了序列对（或批次对），则从最长的序列中移除标记。
- 'only_first'：截断至由参数 max_length 指定的最大长度，或如果未提供该参数，则截断至模型可接受的最大输入长度。如果提供了序列对（或批次对），则仅截断第一个序列。
- 'only_second'：截断至由参数 max_length 指定的最大长度，或如果未提供该参数，则截断至模型可接受的最大输入长度。如果提供了序列对（或批次对），则仅截断第二个序列。
- False 或 'do_not_truncate' (默认)：不截断（即，可以输出序列长度超过模型允许的最大输入大小的批次）。
max_length (int, 可选) — 控制截断/填充参数所使用的最大长度。

如果未设置或设置为 None，当某个截断/填充参数需要最大长度时，将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将停用截断/填充至最大长度的功能。
stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为一个数字，那么当 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以提供截断序列和溢出序列之间的一些重叠。此参数的值定义了重叠标记的数量。
is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经过预分词（例如，拆分为单词）。如果设置为 True，分词器将假设输入已经拆分为单词（例如，通过在空格处拆分），并将对其进行分词。这对于命名实体识别 (NER) 或标记分类很有用。
pad_to_multiple_of (int, 可选) — 如果设置，将填充序列到提供值的倍数。要求 padding 已激活。这对于在具有计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
padding_side (str, 可选) — 模型应在其上应用填充的一侧。应在 [‘right’, ‘left’] 之间选择。默认值取自同名的类属性。
return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 Numpy np.ndarray 对象。
return_token_type_ids (bool, 可选) — 是否返回标记类型 ID。如果保持默认，将根据特定分词器的默认设置（由 return_outputs 属性定义）返回标记类型 ID。

什么是标记类型 ID？
return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认，将根据特定分词器的默认设置（由 return_outputs 属性定义）返回注意力掩码。

什么是注意力掩码？
return_overflowing_tokens (bool, 可选, 默认为 False) — 是否返回溢出的标记序列。如果提供了输入ID的序列对（或批次对），并设置了 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出标记。
return_special_tokens_mask (bool, 可选, 默认为 False) — 是否返回特殊标记掩码信息。
return_offsets_mapping (bool, 可选, 默认为 False) — 是否为每个标记返回 (char_start, char_end)。

这仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用。如果使用 Python 的分词器，此方法将引发 NotImplementedError。
return_length (bool, 可选, 默认为 False) — 是否返回编码后输入的长度。
verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
**kwargs — 传递给 self.tokenize() 方法

BatchEncoding

具有以下字段的 BatchEncoding

input_ids — 要输入到模型中的标记 ID 列表。

什么是输入 ID？
token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

什么是标记类型 ID？
attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

什么是注意力掩码？
overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。
num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。
special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。
length — 输入的长度（当 return_length=True 时）

将一个或多个序列或一对或多对序列标记化并准备用于模型的主要方法。

add_tokens

< 源代码 >

( new_tokens: str | AddedToken | Sequence[str | AddedToken] special_tokens: bool = False ) → int

参数

new_tokens (str, tokenizers.AddedToken 或 str 或 tokenizers.AddedToken 的序列) — 仅当标记尚未在词汇表中时才添加。tokenizers.AddedToken 包装一个字符串标记以允许个性化其行为：该标记是否应该仅与单个单词匹配，该标记是否应该剥离左侧的所有潜在空格，该标记是否应该剥离右侧的所有潜在空格等等。
special_tokens (bool, 可选, 默认为 False) — 指定该标记是否为特殊标记。这主要改变了归一化行为，有关详细信息，请参阅 HuggingFace 分词器库中 tokenizers.AddedToken 的说明。

int

添加到词汇表中的标记数量。

#TODO 将此从此处删除！PreTrainedTokenizerBase 应该与 AddedToken 无关。

添加一组新标记。如果新标记不在词汇表中，它们将被添加到末尾。因此，添加的标记和来自分词算法词汇表的标记处理方式不同。

示例

# Let's see how to increase the vocabulary of Bert model and tokenizer
tokenizer = BertTokenizerFast.from_pretrained("google-bert/bert-base-uncased")
model = BertModel.from_pretrained("google-bert/bert-base-uncased")

num_added_toks = tokenizer.add_tokens(["new_tok1", "my_new-tok2"])
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))

add_special_tokens

< 源代码 >

( special_tokens_dict: dict[str, str | AddedToken | Sequence[str | AddedToken]] replace_extra_special_tokens = True ) → int

参数

special_tokens_dict (字典，映射 str 到 str、tokenizers.AddedToken 或 Sequence[Union[str, AddedToken]]) — 键应包含在预定义的特殊属性列表中：[bos_token, eos_token, unk_token, sep_token, pad_token, cls_token, mask_token, extra_special_tokens]。

仅当标记尚未存在于词汇表中时才会添加（通过检查分词器是否为其分配了 unk_token 的索引进行测试）。
replace_extra_special_tokens (bool, 可选, 默认为 True) — 如果为 True，现有的额外特殊标记列表将被 special_tokens_dict 中提供的列表替换。否则，extra_special_tokens 将被扩展。在前一种情况下，这些标记并不会从分词器的完整词汇表中移除——它们只是被标记为非特殊标记。请记住，这只会影响解码时跳过哪些标记，而不会影响 added_tokens_encoder 和 added_tokens_decoder。这意味着之前的 extra_special_tokens 仍然是已添加的标记，并且不会被模型拆分。

int

添加到词汇表中的标记数量。

将特殊标记字典（eos、pad、cls 等）添加到编码器并将其链接到类属性。如果特殊标记不在词汇表中，它们将被添加到其中（索引从当前词汇表的最后一个索引开始）。

在向词汇表添加新标记时，您应该确保同时调整模型的标记嵌入矩阵，以便其嵌入矩阵与分词器匹配。

为此，请使用 resize_token_embeddings() 方法。

使用 add_special_tokens 将确保您的特殊标记可以通过多种方式使用

在使用 skip_special_tokens = True 进行解码时，可以跳过特殊标记。
特殊标记由分词器进行仔细处理（它们永远不会被拆分），类似于 AddedTokens。
您可以轻松地使用分词器类属性（如 tokenizer.cls_token）来引用特殊标记。这使得开发与模型无关的训练和微调脚本变得容易。

在可能的情况下，预训练模型通常已经注册了特殊标记（例如 BertTokenizer 的 cls_token 已注册为 '[CLS]'，而 XLM 的对应标记已注册为 '</s>'）。

示例

# Let's see how to add a new classification token to GPT-2
tokenizer = GPT2Tokenizer.from_pretrained("openai-community/gpt2")
model = GPT2Model.from_pretrained("openai-community/gpt2")

special_tokens_dict = {"cls_token": "<CLS>"}

num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))

assert tokenizer.cls_token == "<CLS>"

apply_chat_template

< 源代码 >

( conversation: list[dict[str, str]] | list[list[dict[str, str]]] tools: list[dict | Callable] | None = None documents: list[dict[str, str]] | None = None chat_template: str | None = None add_generation_prompt: bool = False continue_final_message: bool | str = False tokenize: bool = True padding: bool | str | PaddingStrategy = False truncation: bool = False max_length: int | None = None return_tensors: str | TensorType | None = None return_dict: bool = True return_assistant_tokens_mask: bool = False tokenizer_kwargs: dict[str, Any] | None = None **kwargs ) → Union[list[int], Dict]

参数

conversation (Union[list[dict[str, str]], list[list[dict[str, str]]]]) — 包含“role”（角色）和“content”（内容）键的字典列表，表示迄今为止的对话历史。
tools (list[Union[Dict, Callable]], 可选) — 模型可访问的工具（可调用函数）列表。如果模板不支持函数调用，此参数将无效。每个工具都应作为 JSON 架构传递，提供工具的名称、描述和参数类型。有关更多信息，请参阅我们的工具使用指南。
documents (list[dict[str, str]], 可选) — 表示如果模型执行 RAG（检索增强生成）时可访问的文档字典列表。如果模板不支持 RAG，此参数将无效。我们建议每个文档应为一个包含“title”（标题）和“text”（文本）键的字典。
chat_template (str, 可选) — 用于此转换的 Jinja 模板。通常不需要为此参数传递任何内容，因为默认情况下将使用模型的模板。
add_generation_prompt (bool, 可选) — 如果设置此项，指示助手消息开始的标记将被追加到格式化的输出中。当您想要从模型生成响应时，这非常有用。请注意，此参数将被传递给聊天模板，因此必须在模板中支持该参数，它才能生效。
continue_final_message (bool 或 str, 可选) — 如果设置此项，对话将以这种方式格式化：对话中的最后一条消息是开放式的，没有任何 EOS 标记。模型将继续此消息，而不是开始一条新消息。这允许您为模型“预填充”部分响应。如果传递了字符串，它将被用作要继续的字段的键（例如“reasoning_content”）。不能与 add_generation_prompt 同时使用。
tokenize (bool, 默认为 True) — 是否对输出进行分词。如果为 False，输出将是一个字符串。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 选择一种策略来填充返回的序列（根据模型的填充侧和填充索引），选项包括：
- True 或 'longest'：填充到批次中最长的序列（如果仅提供单个序列，则不填充）。
- 'max_length'：填充到参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad'（默认）：不填充（即，可以输出不同长度序列的批次）。
truncation (bool, 默认为 False) — 是否在最大长度处截断序列。如果 tokenize 为 False，则无效。
max_length (int, 可选) — 用于填充或截断的最大长度（以标记为单位）。如果 tokenize 为 False，则无效。如果未指定，将默认使用分词器的 max_length 属性。
return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。如果 tokenize 为 False，则无效。可接受的值为：
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 NumPy np.ndarray 对象。
return_dict (bool, 默认为 True) — 是否返回带有命名输出的字典。如果 tokenize 为 False，则无效。
tokenizer_kwargs (dict[str -- Any], 可选)：传递给分词器的附加关键字参数（kwargs）。
return_assistant_tokens_mask (bool, 默认为 False) — 是否返回助手生成的标记掩码。对于助手生成的标记，掩码将包含 1。对于用户和系统标记，掩码将包含 0。此功能仅适用于通过 {% generation %} 关键字支持它的聊天模板。
***kwargs — 传递给模板渲染器的附加关键字参数。聊天模板将可以访问这些参数。

Union[list[int], Dict]

表示迄今为止分词后对话的标记 ID 列表，包括控制标记。此输出已准备好直接传递给模型，或通过 generate() 等方法传递。如果设置了 return_dict，将返回分词器输出的字典。

将包含 "role" 和 "content" 键的字典列表转换为标记 ID 列表。此方法旨在与聊天模型一起使用，并将读取分词器的 chat_template 属性，以确定转换时要使用的格式和控制标记。

batch_decode

< 源代码 >

( sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor skip_special_tokens: bool = False clean_up_tokenization_spaces: bool | None = None **kwargs ) → list[str]

参数

sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor]) — 分词后的输入 ID 列表。可以使用 __call__ 方法获得。
skip_special_tokens (bool, 可选, 默认为 False) — 是否在解码时移除特殊标记。
clean_up_tokenization_spaces (bool, 可选) — 是否清理分词产生的空格。如果设为 None，将默认使用 self.clean_up_tokenization_spaces。
kwargs (附加关键字参数, 可选) — 将传递给底层模型特定的解码方法。

list[str]

解码后的句子列表。

通过调用 decode 将标记 ID 列表的列表转换为字符串列表。

此方法仅用于向后兼容。decode 方法现在支持批处理输入，因此您可以直接使用 decode 而不是 batch_decode。

decode

< 源代码 >

( token_ids: int | list[int] | list[list[int]] | np.ndarray | torch.Tensor skip_special_tokens: bool = False **kwargs ) → Union[str, list[str]]

参数

token_ids (Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]) — 单个序列或一批（序列列表）分词后的输入 ID。可以通过 __call__ 方法获得。
skip_special_tokens (bool, 可选, 默认为 False) — 解码时是否移除特殊 token。
kwargs (附加关键字参数, 可选) — 将传递给底层模型特定的解码方法。

Union[str, list[str]]

单个序列的解码字符串，或序列批次的解码字符串列表。

使用分词器和词汇表将 ID 序列转换为字符串，或将序列列表转换为字符串列表，并提供移除特殊标记和清理分词空格的选项。

类似于执行 self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))。

编码

< 源代码 >

参数

text (str, list[str] 或 list[int]) — 要编码的第一个序列。可以是字符串、字符串列表（使用 tokenize 方法进行分词）或整数列表（使用 convert_tokens_to_ids 方法进行转换）。
text_pair (str, list[str] 或 list[int], 可选) — 要编码的第二个可选序列。可以是字符串、字符串列表（使用 tokenize 方法进行分词）或整数列表（使用 convert_tokens_to_ids 方法进行转换）。
add_special_tokens (bool, 可选, 默认为 True) — 在编码序列时是否添加特殊 token。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些 token 会被自动添加到输入 ID 中。如果你想自动添加 bos 或 eos token，此参数非常有用。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 False) — 激活并控制填充。接受以下值：
- True 或 'longest'：填充到批次中最长的序列（如果仅提供单个序列，则不进行填充）。
- 'max_length'：填充到 max_length 参数指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad' (默认)：不进行填充（即可以输出包含长度不同序列的批次）。
truncation (bool, str 或 TruncationStrategy, 可选, 默认为 False) — 激活并控制截断。接受以下值：
- True 或 'longest_first'：截断到 max_length 参数指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。这将逐个 token 进行截断；如果提供了序列对（或批次对），则会从最长的序列中移除一个 token。
- 'only_first'：截断到 max_length 参数指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了序列对（或批次对），则只会截断第一个序列。
- 'only_second'：截断到 max_length 参数指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了序列对（或批次对），则只会截断第二个序列。
- False 或 'do_not_truncate' (默认)：不进行截断（即可以输出超过模型最大允许输入长度的序列批次）。
max_length (int, 可选) — 控制截断/填充参数所使用的最大长度。

如果留空或设置为 None，则在截断/填充参数需要最大长度时，将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则截断/填充到最大长度的功能将被禁用。
stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置一个数字，当 return_overflowing_tokens=True 时，返回的溢出 token 将包含被截断序列末尾的一些 token，以便在截断序列和溢出序列之间提供重叠。此参数的值定义了重叠 token 的数量。
is_split_into_words (bool, 可选, 默认为 False) — 输入是否已预先分词（例如，已拆分为单词）。如果设为 True，分词器将假定输入已拆分为单词（例如，通过空白字符拆分），并在此基础上进行分词。这对于 NER（命名实体识别）或 token 分类非常有用。
pad_to_multiple_of (int, 可选) — 如果设置，会将序列填充为提供值的倍数。要求激活 padding。这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
padding_side (str, 可选) — 模型应用填充的一侧。应在 [‘right’, ‘left’] 之间选择。默认值取自同名的类属性。
return_tensors (str 或 TensorType, 可选) — 如果设置，将返回 tensor 而不是 Python 整数列表。可接受的值为：
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 Numpy np.ndarray 对象。
**kwargs — 传递给 .tokenize() 方法。

list[int], torch.Tensor, 或 np.ndarray

文本的 tokenized ID。

使用分词器和词汇表将字符串转换为 ID 序列（整数）。

与执行 self.convert_tokens_to_ids(self.tokenize(text)) 相同。

push_to_hub

< 源代码 >

参数

repo_id (str) — 你想要将分词器推送到其中的仓库名称。推送到指定组织时，应包含组织名称。
commit_message (str, 可选) — 推送时的提交信息。默认为 "Upload tokenizer"。
commit_description (str, 可选) — 将要创建的提交的描述信息。
private (bool, 可选) — 是否将仓库设为私有。如果为 None（默认），则仓库将公开，除非组织的默认设置是私有。如果仓库已存在，此值将被忽略。
token (bool 或 str, 可选) — 用于远程文件 HTTP 持有者授权（Bearer Authorization）的 token。如果为 True（默认），将使用运行 hf auth login 时生成的 token（存储在 ~/.huggingface 中）。
revision (str, 可选) — 将上传文件推送到其中的分支。
create_pr (bool, 可选, 默认为 False) — 是否创建一个包含上传文件的 PR，还是直接提交。
max_shard_size (int 或 str, 可选, 默认为 "50GB") — 仅适用于模型。在进行分片（sharding）之前检查点的最大大小。检查点分片的大小将均小于此尺寸。如果以字符串形式表示，则需要是数字后跟一个单位（例如 "5MB"）。
tags (list[str], 可选) — 要推送到 Hub 的标签列表。

将分词器文件上传到 🤗 Model Hub。

示例

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")

# Push the tokenizer to your namespace with the name "my-finetuned-bert".
tokenizer.push_to_hub("my-finetuned-bert")

# Push the tokenizer to an organization with the name "my-finetuned-bert".
tokenizer.push_to_hub("huggingface/my-finetuned-bert")

Transformers

分词器 (Tokenizer)

多模态分词器 (Multimodal Tokenizer)

PreTrainedTokenizer

class transformers.PythonBackend

__call__

add_tokens

add_special_tokens

apply_chat_template

batch_decode

decode

编码

push_to_hub

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

get_added_vocab

get_special_tokens_mask

num_special_tokens_to_add

prepare_for_model

prepare_for_tokenization

save_vocabulary

tokenize

truncate_sequences

PreTrainedTokenizerFast

class transformers.TokenizersBackend

__call__

add_tokens

add_special_tokens

apply_chat_template

batch_decode

decode

编码

push_to_hub

convert_to_native_format

get_added_vocab

num_special_tokens_to_add

set_truncation_and_padding

train_new_from_iterator

update_post_processor

PythonBackend

class transformers.PythonBackend

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

get_added_vocab

get_special_tokens_mask

num_special_tokens_to_add

prepare_for_model

prepare_for_tokenization

save_vocabulary

tokenize

truncate_sequences

TokenizersBackend

class transformers.TokenizersBackend

convert_to_native_format

get_added_vocab

num_special_tokens_to_add

set_truncation_and_padding

train_new_from_iterator

update_post_processor

SentencePieceBackend

class transformers.SentencePieceBackend

convert_tokens_to_string

get_vocab

save_vocabulary

BatchEncoding

class transformers.BatchEncoding

char_to_token

char_to_word

convert_to_tensors

sequence_ids

到

token_to_chars

token_to_sequence

token_to_word

tokens

word_ids

word_to_chars

word_to_tokens

call

call