Transformers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

此模型于 2019-03-24 发布，并于 2020-11-16 添加到 Hugging Face Transformers。

BertJapanese

概述

在日语文本上训练的 BERT 模型。

有两种不同的分词方法可供选择

使用 MeCab 和 WordPiece 进行分词。这需要一些额外的依赖项，fugashi，它是 MeCab 的包装器。
按字符进行分词。

要使用 MecabTokenizer，您应该 pip install transformers["ja"] （如果从源安装，则为 pip install -e .["ja"]）来安装依赖项。

有关详细信息，请参阅 cl-tohoku 存储库。

使用 MeCab 和 WordPiece 分词模型的示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese")
>>> tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

>>> ## Input Japanese Text
>>> line = "吾輩は猫である。"

>>> inputs = tokenizer(line, return_tensors="pt")

>>> print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

>>> outputs = bertjapanese(**inputs)

使用字符分词模型的示例

>>> bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char")
>>> tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

>>> ## Input Japanese Text
>>> line = "吾輩は猫である。"

>>> inputs = tokenizer(line, return_tensors="pt")

>>> print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

>>> outputs = bertjapanese(**inputs)

此模型由 cl-tohoku 贡献。

此实现与 BERT 相同，除了分词方法。有关 API 参考信息，请参阅 BERT 文档。

BertJapaneseTokenizer

class transformers.BertJapaneseTokenizer

< source >

( vocab_file spm_file = None do_lower_case = False do_word_tokenize = True do_subword_tokenize = True word_tokenizer_type = 'basic' subword_tokenizer_type = 'wordpiece' never_split = None unk_token = '[UNK]' sep_token = '[SEP]' pad_token = '[PAD]' cls_token = '[CLS]' mask_token = '[MASK]' mecab_kwargs = None sudachi_kwargs = None jumanpp_kwargs = None **kwargs )

参数

vocab_file (str) — Path to a one-wordpiece-per-line vocabulary file.
spm_file (str, optional) — Path to SentencePiece file (generally has a .spm or .model extension) that contains the vocabulary.
do_lower_case (bool, optional, defaults to True) — Whether to lower case the input. Only has an effect when do_basic_tokenize=True.
do_word_tokenize (bool, optional, defaults to True) — Whether to do word tokenization.
do_subword_tokenize (bool, optional, defaults to True) — Whether to do subword tokenization.
word_tokenizer_type (str, optional, defaults to "basic") — Type of word tokenizer. Choose from [“basic”, “mecab”, “sudachi”, “jumanpp”].
subword_tokenizer_type (str, optional, defaults to "wordpiece") — Type of subword tokenizer. Choose from [“wordpiece”, “character”, “sentencepiece”,].
mecab_kwargs (dict, optional) — Dictionary passed to the MecabTokenizer constructor.
sudachi_kwargs (dict, optional) — Dictionary passed to the SudachiTokenizer constructor.
jumanpp_kwargs (dict, optional) — Dictionary passed to the JumanppTokenizer constructor.

为日语文本构建 BERT 分词器。

此分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参考：此超类以获取有关这些方法的更多信息。

convert_tokens_to_string

< source >

( tokens )

将标记序列（字符串）转换为单个字符串。

在 GitHub 上更新

←BertGeneration BERTweet→