输入序列
Python
Rust
Node
这些类型表示可以用作分词器输入的所有不同类型的序列。总体而言,任何序列可以是字符串或字符串列表,具体取决于分词器的操作模式:原始文本
与 预分词
。
TextInputSequence
tokenizers.TextInputSequence
表示输入序列的str
PreTokenizedInputSequence
tokenizers.PreTokenizedInputSequence
预分词的输入序列。可以是以下之一
str
的List
str
的Tuple
Union[List[str], Tuple[str]]
的别名。
InputSequence
tokenizers.InputSequence
表示编码所有可能的输入序列类型。可以是
- 当
is_pretokenized=False
时:TextInputSequence - 当
is_pretokenized=True
时:PreTokenizedInputSequence
Union[str, List[str], Tuple[str]]
的别名。