Transformers 文档

mLUKE

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

mLUKE

PyTorch

概述

mLUKE 模型由 Ryokan Ri、Ikuya Yamada 和 Yoshimasa Tsuruoka 在 mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models 中提出。它是基于 XLM-RoBERTa 训练的 LUKE 模型的多语言扩展。

它基于 XLM-RoBERTa,并增加了实体嵌入,这有助于提高涉及实体推理的各种下游任务的性能,例如命名实体识别、抽取式问答、关系分类、完形填空式知识补全。

论文摘要如下:

最近的研究表明,多语言预训练语言模型可以通过维基百科实体的跨语言对齐信息得到有效改进。然而,现有方法仅在预训练中利用实体信息,而没有在下游任务中明确使用实体。在这项研究中,我们探讨了利用实体表示对下游跨语言任务的有效性。我们训练了一个包含 24 种语言的多语言语言模型,其中包含实体表示,并表明该模型在各种跨语言迁移任务中始终优于基于词的预训练模型。我们还分析了该模型,关键在于将实体表示纳入输入可以帮助我们提取更多与语言无关的特征。我们还使用 mLAMA 数据集评估了该模型在多语言完形填空任务中的表现。我们发现,基于实体的提示比仅使用词表示更有可能引发正确的事实知识。

该模型由 ryo0634 贡献。原始代码可以在这里找到。

使用技巧

您可以直接将 mLUKE 的权重插入到 LUKE 模型中,例如:

from transformers import LukeModel

model = LukeModel.from_pretrained("studio-ousia/mluke-base")

请注意,mLUKE 有自己的分词器,MLukeTokenizer。您可以按如下方式初始化它:

from transformers import MLukeTokenizer

tokenizer = MLukeTokenizer.from_pretrained("studio-ousia/mluke-base")

由于 mLUKE 的架构与 LUKE 相同,您可以参考 LUKE 的文档页面获取所有技巧、代码示例和笔记本。

MLukeTokenizer

transformers.MLukeTokenizer

< >

( 词汇文件 实体词汇文件 bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' 任务 = None 最大实体长度 = 32 最大提及长度 = 30 实体令牌1 = '<ent>' 实体令牌2 = '<ent2>' 实体未知令牌 = '[UNK]' 实体填充令牌 = '[PAD]' 实体掩码令牌 = '[MASK]' 实体掩码2令牌 = '[MASK2]' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )

参数

  • vocab_file (str) — 词汇表文件的路径。
  • entity_vocab_file (str) — 实体词汇表文件的路径。
  • bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列开始标记。可用作序列分类器标记。

    当使用特殊标记构建序列时,这不是用于序列开始的标记。使用的标记是 cls_token

  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    当使用特殊标记构建序列时,这不是用于序列结束的标记。使用的标记是 sep_token

  • sep_token (str, 可选, 默认为 "</s>") — 分隔符标记,用于从多个序列构建序列,例如序列分类的两个序列或问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, 可选, 默认为 "<s>") — 分类器标记,用于序列分类(整个序列的分类,而不是每个标记的分类)。它是在使用特殊标记构建序列时的第一个标记。
  • unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记无法转换为 ID,而是设置为此标记。
  • pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记,例如在批处理不同长度的序列时。
  • mask_token (str, 可选, 默认为 "<mask>") — 用于掩码值的标记。这是在用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  • task (str, 可选) — 您要准备序列的任务。可以是 "entity_classification""entity_pair_classification""entity_span_classification" 之一。如果指定此参数,则实体序列将根据给定的实体跨度自动创建。
  • max_entity_length (int, 可选, 默认为 32) — entity_ids 的最大长度。
  • max_mention_length (int, 可选, 默认为 30) — 实体跨度中的最大标记数。
  • entity_token_1 (str, 可选, 默认为 <ent>) — 用于在词标记序列中表示实体跨度的特殊标记。此标记仅在 task 设置为 "entity_classification""entity_pair_classification" 时使用。
  • entity_token_2 (str, 可选, 默认为 <ent2>) — 用于在词标记序列中表示实体跨度的特殊标记。此标记仅在 task 设置为 "entity_pair_classification" 时使用。
  • additional_special_tokens (list[str], 可选, 默认为 ["<s>NOTUSED", "</s>NOTUSED"]) — 分词器使用的附加特殊标记。
  • sp_model_kwargs (dict, 可选) — 将传递给 SentencePieceProcessor.__init__() 方法。 SentencePiece 的 Python 包装器可以用于设置:

    • enable_sampling:启用子词正则化。

    • nbest_size:Unigram 的采样参数。对于 BPE-Dropout 无效。

      • nbest_size = {0,1}:不执行采样。
      • nbest_size > 1:从 nbest_size 结果中采样。
      • nbest_size < 0:假设 nbest_size 无限,并使用前向过滤和后向采样算法从所有假设(格)中采样。
    • alpha:Unigram 采样的平滑参数,以及 BPE-dropout 合并操作的 dropout 概率。

  • sp_model (SentencePieceProcessor) — 用于所有转换(字符串、标记和 ID)的 SentencePiece 处理器。

改编自 XLMRobertaTokenizerLukeTokenizer。基于 SentencePiece

此分词器继承自 PreTrainedTokenizer,其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

__call__

< >

( 文本: typing.Union[str, list[str]] 文本对: typing.Union[str, list[str], NoneType] = None 实体跨度: typing.Union[list[tuple[int, int]], list[list[tuple[int, int]]], NoneType] = None 实体跨度对: typing.Union[list[tuple[int, int]], list[list[tuple[int, int]]], NoneType] = None 实体: typing.Union[list[str], list[list[str]], NoneType] = None 实体对: typing.Union[list[str], list[list[str]], NoneType] = None 添加特殊标记: bool = True 填充: typing.Union[bool, str, transformers.utils.generic.PaddingStrategy] = False 截断: typing.Union[bool, str, transformers.tokenization_utils_base.TruncationStrategy] = None 最大长度: typing.Optional[int] = None 最大实体长度: typing.Optional[int] = None 步幅: int = 0 is_split_into_words: typing.Optional[bool] = False pad_to_multiple_of: typing.Optional[int] = None padding_side: typing.Optional[str] = None return_tensors: typing.Union[transformers.utils.generic.TensorType, str, NoneType] = None return_token_type_ids: typing.Optional[bool] = None return_attention_mask: typing.Optional[bool] = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True **kwargs ) BatchEncoding

参数

  • text (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列必须是字符串。请注意,此分词器不支持基于预分词字符串的分词。
  • text_pair (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列必须是字符串。请注意,此分词器不支持基于预分词字符串的分词。
  • entity_spans (list[tuple[int, int]], list[list[tuple[int, int]]], 可选) — 要编码的实体跨度序列或序列批次。每个序列由元组组成,每个元组包含两个整数,表示实体的基于字符的开始和结束位置。如果您在构造函数中将 task 参数指定为 "entity_classification""entity_pair_classification",则每个序列的长度必须分别为 1 或 2。如果您指定 entities,则每个序列的长度必须等于 entities 中每个序列的长度。
  • entity_spans_pair (list[tuple[int, int]], list[list[tuple[int, int]]], 可选) — 要编码的实体跨度序列或序列批次。每个序列由元组组成,每个元组包含两个整数,表示实体的基于字符的开始和结束位置。如果您在构造函数中指定 task 参数,则此参数将被忽略。如果您指定 entities_pair,则每个序列的长度必须等于 entities_pair 中每个序列的长度。
  • 实体 (list[str], list[list[str]], 可选) — 要编码的实体序列或批次序列。每个序列由表示实体的字符串组成,即特殊实体(例如 [MASK])或维基百科的实体标题(例如 Los Angeles)。如果您在构造函数中指定了 task 参数,则此参数将被忽略。每个序列的长度必须等于每个 entity_spans 序列的长度。如果您在未指定此参数的情况下指定了 entity_spans,则实体序列或实体序列批次将通过填充 [MASK] 实体自动构建。
  • 实体对 (list[str], list[list[str]], 可选) — 要编码的实体序列或批次序列。每个序列由表示实体的字符串组成,即特殊实体(例如 [MASK])或维基百科的实体标题(例如 Los Angeles)。如果您在构造函数中指定了 task 参数,则此参数将被忽略。每个序列的长度必须等于每个 entity_spans_pair 序列的长度。如果您在未指定此参数的情况下指定了 entity_spans_pair,则实体序列或实体序列批次将通过填充 [MASK] 实体自动构建。
  • 最大实体长度 (int, 可选) — entity_ids 的最大长度。
  • 添加特殊标记 (bool, 可选, 默认为 True) — 在编码序列时是否添加特殊标记。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数,该函数定义了哪些标记会自动添加到输入 ID。如果您希望自动添加 boseos 标记,这会很有用。
  • 填充 (bool, strPaddingStrategy, 可选, 默认为 False) — 激活和控制填充。接受以下值:

    • True'longest':填充到批次中最长的序列(如果只提供一个序列,则不填充)。
    • 'max_length':填充到由参数 max_length 指定的最大长度,或者如果未提供该参数,则填充到模型可接受的最大输入长度。
    • False'do_not_pad' (默认):不填充(即,可以输出具有不同长度序列的批次)。
  • 截断 (bool, strTruncationStrategy, 可选, 默认为 False) — 激活和控制截断。接受以下值:

    • True'longest_first':截断到由参数 max_length 指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了一对序列(或批次对),这将逐个标记进行截断,从对中最长的序列中移除一个标记。
    • 'only_first':截断到由参数 max_length 指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了一对序列(或批次对),这将只截断对的第一个序列。
    • 'only_second':截断到由参数 max_length 指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了一对序列(或批次对),这将只截断对的第二个序列。
    • False'do_not_truncate' (默认):不截断(即,可以输出序列长度大于模型最大允许输入大小的批次)。
  • 最大长度 (int, 可选) — 控制截断/填充参数之一所使用的最大长度。

    如果未设置或设置为 None,则如果截断/填充参数之一需要最大长度,则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度(如 XLNet),则将禁用截断/填充到最大长度。

  • 步长 (int, 可选, 默认为 0) — 如果设置为一个数字并结合 max_length 使用,则当 return_overflowing_tokens=True 时返回的溢出标记将包含来自截断序列末尾的一些标记,以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
  • 已分词 (bool, 可选, 默认为 False) — 输入是否已预分词(例如,已拆分为单词)。如果设置为 True,则分词器假定输入已拆分为单词(例如,通过在空白处拆分),然后对其进行分词。这对于 NER 或标记分类很有用。
  • 填充到倍数 (int, 可选) — 如果设置,将序列填充到所提供值的倍数。需要激活 padding。这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
  • 填充方向 (str, 可选) — 模型应该在哪个方向上应用填充。应在 ['right', 'left'] 之间选择。默认值取自同名类属性。
  • 返回张量 (strTensorType, 可选) — 如果设置,将返回张量而不是 Python 整数列表。可接受的值有:

    • 'tf':返回 TensorFlow tf.constant 对象。
    • 'pt':返回 PyTorch torch.Tensor 对象。
    • 'np':返回 Numpy np.ndarray 对象。
  • 返回标记类型 ID (bool, 可选) — 是否返回标记类型 ID。如果保留默认值,将根据特定分词器的默认值(由 return_outputs 属性定义)返回标记类型 ID。

    什么是标记类型 ID?

  • 返回注意力掩码 (bool, 可选) — 是否返回注意力掩码。如果保留默认值,将根据特定分词器的默认值(由 return_outputs 属性定义)返回注意力掩码。

    什么是注意力掩码?

  • 返回溢出标记 (bool, 可选, 默认为 False) — 是否返回溢出标记序列。如果提供了一对输入 ID 序列(或批次对)并使用 truncation_strategy = longest_firstTrue,则会引发错误,而不是返回溢出标记。
  • 返回特殊标记掩码 (bool, 可选, 默认为 False) — 是否返回特殊标记掩码信息。
  • 返回偏移映射 (bool, 可选, 默认为 False) — 是否为每个标记返回 (char_start, char_end)

    这仅适用于继承自 PreTrainedTokenizerFast 的快速分词器,如果使用 Python 的分词器,此方法将引发 NotImplementedError

  • 返回长度 (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
  • 详细 (bool, 可选, 默认为 True) — 是否打印更多信息和警告。
  • **kwargs — 传递给 self.tokenize() 方法

返回

批次编码

一个 BatchEncoding,包含以下字段:

  • input_ids — 要输入到模型中的标记 ID 列表。

    什么是输入 ID?

  • token_type_ids — 要输入到模型中的标记类型 ID 列表(当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时)。

    什么是标记类型 ID?

  • attention_mask — 指定模型应关注哪些标记的索引列表(当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时)。

    什么是注意力掩码?

  • 实体 ID — 实体 ID 列表,用于馈送到模型中。

    什么是输入 ID?

  • 实体位置 ID — 实体在输入序列中的位置 ID 列表,用于馈送到模型中。

  • 实体标记类型 ID — 实体标记类型 ID 列表,用于馈送到模型中(当 return_token_type_ids=True 或如果 "entity_token_type_ids"self.model_input_names 中)。

    什么是标记类型 ID?

  • 实体注意力掩码 — 指定模型应关注哪些实体的索引列表(当 return_attention_mask=True 或如果 "entity_attention_mask"self.model_input_names 中)。

    什么是注意力掩码?

  • 实体起始位置 — 实体在单词标记序列中的起始位置列表(当 task="entity_span_classification" 时)。

  • 实体结束位置 — 实体在单词标记序列中的结束位置列表(当 task="entity_span_classification" 时)。

  • overflowing_tokens — 溢出标记序列列表(当指定 max_lengthreturn_overflowing_tokens=True 时)。

  • num_truncated_tokens — 截断标记的数量(当指定 max_lengthreturn_overflowing_tokens=True 时)。

  • special_tokens_mask — 0 和 1 的列表,其中 1 表示添加的特殊标记,0 表示常规序列标记(当 add_special_tokens=Truereturn_special_tokens_mask=True 时)。

  • length — 输入的长度(当 return_length=True 时)

主要方法,用于对一个或多个序列或一对或多对序列进行标记化并为模型准备,具体取决于您要为其准备的任务。

保存词汇

< >

( 保存目录: str 文件名前缀: typing.Optional[str] = None )

< > 在 GitHub 上更新