Tokenizers 文档
可视化工具
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
可视化工具
Python
Rust
Node
注释
EncodingVisualizer
class tokenizers.tools.EncodingVisualizer
< 源码 >( tokenizer: Tokenizer default_to_notebook: bool = True annotation_converter: Optional = None )
参数
- tokenizer (Tokenizer) — 一个 tokenizer 实例
- default_to_notebook (
bool
) — 默认是否在 notebook 中渲染 html 输出 - annotation_converter (
Callable
, *可选的*) — 一个可选的 (lambda) 函数,它接受任何格式的注释并返回一个 Annotation 对象
构建 EncodingVisualizer
__call__
< 源码 >( text: str annotations: List = [] default_to_notebook: Optional = None )
构建给定文本的可视化