参数

• vocab (Dict[str, int], 可选) — 一组字符串键和其ID的字典 {"am": 0,...}
• merges (List[Tuple[str, str]], 可选) — 一组标记配对列表（_tuple[str, str]）[("a", "b"),...]
• cache_capacity (int, 可选) — BPE 缓存可以包含的单词数量。缓存通过保留合并操作的中间结果来加速处理过程。
• dropout (float, 可选) — 表示要使用的 BPE dropout 的 float 值，介于 0 和 1 之间。
• unk_token (str, 可选) — 模型将使用的未知标记。
• continuing_subword_prefix (str, 可选) — 添加给不代表单词开头的子词单元的前缀。
• end_of_word_suffix (str, 可选) — 添加给代表单词结尾的子词单元的后缀。
• fuse_unk (bool, 可选) — 是否将任何后续的未知标记融合成单个标记。
• byte_fallback (bool, 可选) — 是否使用 spm 字节回退技巧（默认为 False）

参数

• vocab (List[Tuple[str, float]], optional, optional) — 词汇项及其相对得分的列表 [(“am”，-0.2442),…]

参数

• vocab (str, optional) — 字符串键及其ID的字典 {"am": 0,...}
• unk_token (str, 可选) — 模型使用的未知标记。

参数

• vocab (Dict[str, int], optional) — 字符串键及其id的字典 {"am": 0,...}
• unk_token (str, optional) — 模型使用的未知标记。
• max_input_chars_per_word (int, optional) — 单个单词中授权的字符数最大值。