Hugging Face 的 LOGO

分词器文档

可视化工具

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

可视化工具

Python
Rust
Node

Annotation

class tokenizers.tools.Annotation

< >

( start: int end: int label: str )

EncodingVisualizer

class tokenizers.tools.EncodingVisualizer

< >

( tokenizer: Tokenizer default_to_notebook: bool = True annotation_converter: Optional = None )

参数

  • tokenizer (Tokenizer) — 一个分词器实例
  • default_to_notebook (bool) — 是否默认在 notebook 中渲染 HTML 输出
  • annotation_converter (Callable, optional) — 一个可选的（lambda）函数，它接受任何格式的标注并返回一个 Annotation 对象

构建一个 EncodingVisualizer

__call__

< >

( text: str annotations: List = [] default_to_notebook: Optional = None )

参数

  • text (str) — 要进行分词的文本
  • annotations (List[Annotation], optional) — 一个可选的文本标注列表。如果使用转换器函数实例化了可视化工具，则可以是标注类或任何其他类型
  • default_to_notebook (bool, optional, 默认为 False) — 如果为 True，将在 notebook 中渲染 HTML。否则返回一个 HTML 字符串。

构建给定文本的可视化

< > 在 GitHub 上更新

←Decoders