mLUKE
概述
mLUKE 模型在 Ryokan Ri、Ikuya Yamada 和 Yoshimasa Tsuruoka 的论文 mLUKE:多语言预训练语言模型中实体表示的力量 中提出。它是在 XLM-RoBERTa 的基础上训练的,是 LUKE 模型 的多语言扩展。
它基于 XLM-RoBERTa 并添加了实体嵌入,这有助于提高各种涉及实体推理的下游任务的性能,例如命名实体识别、抽取式问答、关系分类、完形填空式知识补全。
论文的摘要如下:
最近的研究表明,多语言预训练语言模型可以通过维基百科实体的跨语言对齐信息得到有效改进。然而,现有的方法仅在预训练中利用实体信息,并且在下游任务中没有明确地使用实体。在本研究中,我们探讨了利用实体表示进行下游跨语言任务的有效性。我们训练了一个包含 24 种语言的实体表示的多语言语言模型,并表明该模型在各种跨语言迁移任务中始终优于基于词的预训练模型。我们还分析了该模型,关键的洞察是将实体表示纳入输入允许我们提取更多与语言无关的特征。我们还使用 mLAMA 数据集对模型进行了多语言完形填空提示任务的评估。我们表明,基于实体的提示比仅使用词表示更可能引发正确的实际知识。
该模型由 ryo0634 贡献。原始代码可以在这里找到 这里。
使用技巧
您可以将 mLUKE 的权重直接插入 LUKE 模型,如下所示
from transformers import LukeModel
model = LukeModel.from_pretrained("studio-ousia/mluke-base")
请注意,mLUKE 有自己的分词器,MLukeTokenizer。您可以按如下方式初始化它
from transformers import MLukeTokenizer
tokenizer = MLukeTokenizer.from_pretrained("studio-ousia/mluke-base")
由于 mLUKE 的架构等同于 LUKE 的架构,因此您可以参考 LUKE 的文档页面 获取所有技巧、代码示例和笔记本。
MLukeTokenizer
类 transformers.MLukeTokenizer
< 源代码 >( vocab_file entity_vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' task = None max_entity_length = 32 max_mention_length = 30 entity_token_1 = '<ent>' entity_token_2 = '<ent2>' entity_unk_token = '[UNK]' entity_pad_token = '[PAD]' entity_mask_token = '[MASK]' entity_mask2_token = '[MASK2]' sp_model_kwargs: Optional = None **kwargs )
参数
- vocab_file (
str
) — 词汇文件路径。 - entity_vocab_file (
str
) — 实体词汇文件路径。 - bos_token (
str
, 可选, 默认为"<s>"
) — 预训练期间使用的序列开始标记。可以用作序列分类器标记。在使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是
cls_token
。 - eos_token (
str
,可选,默认为"</s>"
) — 序列结束标记。当使用特殊标记构建序列时,这不是用于序列结束的标记。使用的标记是
sep_token
。 - sep_token (
str
,可选,默认为"</s>"
) — 分隔符标记,用于从多个序列构建序列时,例如序列分类的两个序列或问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str
,可选,默认为"<s>"
) — 分类器标记,用于执行序列分类(整个序列的分类,而不是每个标记的分类)。它是使用特殊标记构建的序列的第一个标记。 - unk_token (
str
,可选,默认为"<unk>"
) — 未知标记。不在词汇表中的标记无法转换为 ID,而是设置为此标记。 - pad_token (
str
,可选,默认为"<pad>"
) — 用于填充的标记,例如在批处理不同长度的序列时。 - mask_token (
str
,可选,默认为"<mask>"
) — 用于掩蔽值的标记。这是使用掩蔽语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。 - task (
str
,可选) — 您希望为其准备序列的任务。"entity_classification"
、"entity_pair_classification"
或"entity_span_classification"
之一。如果您指定此参数,则实体序列将根据给定的实体跨度自动创建。 - max_entity_length (
int
,可选,默认为 32) —entity_ids
的最大长度。 - max_mention_length (
int
,可选,默认为 30) — 实体跨度内标记的最大数量。 - entity_token_1 (
str
,可选,默认为<ent>
) — 用于表示单词标记序列中实体跨度的特殊标记。此标记仅在task
设置为"entity_classification"
或"entity_pair_classification"
时使用。 - sp_model_kwargs (
dict
,可选) — 将传递给SentencePieceProcessor.__init__()
方法。 SentencePiece 的 Python 包装器 可用于设置:-
enable_sampling
:启用子词正则化。 -
nbest_size
:一元语法的采样参数。对于 BPE-Dropout 无效。nbest_size = {0,1}
:不执行采样。nbest_size > 1
:从 nbest_size 个结果中采样。nbest_size < 0
:假设 nbest_size 是无限的,并使用前向过滤和后向采样算法从所有假设(格)中采样。
-
alpha
:一元语法的平滑参数,以及 BPE-dropout 的合并操作的 dropout 概率。
-
- sp_model (
SentencePieceProcessor
) — 用于每次转换(字符串、标记和 ID)的 SentencePiece 处理器。
改编自 XLMRobertaTokenizer 和 LukeTokenizer。基于 SentencePiece。
此分词器继承自 PreTrainedTokenizer,其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。
__call__
< source > ( text: Union text_pair: Union = None entity_spans: Union = None entity_spans_pair: Union = None entities: Union = None entities_pair: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None max_entity_length: Optional = None stride: int = 0 is_split_into_words: Optional = False pad_to_multiple_of: Optional = None padding_side: Optional = None return_tensors: Union = None return_token_type_ids: Optional = None return_attention_mask: Optional = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True **kwargs ) → BatchEncoding
参数
- text (
str
,List[str]
,List[List[str]]
) — 要编码的序列或序列批次。每个序列必须是字符串。请注意,此分词器不支持基于预分词字符串的分词。 - text_pair (
str
,List[str]
,List[List[str]]
) — 要编码的序列或序列批次。每个序列必须是字符串。请注意,此分词器不支持基于预分词字符串的分词。 - entity_spans (
List[Tuple[int, int]]
,List[List[Tuple[int, int]]]
, 可选) — 要编码的实体跨度的序列或批次序列。每个序列都包含元组,每个元组有两个整数,表示实体的基于字符的起始和结束位置。如果您在构造函数中将"entity_classification"
或"entity_pair_classification"
指定为task
参数,则每个序列的长度必须分别为1或2。如果您指定了entities
,则每个序列的长度必须等于每个entities
序列的长度。 - entity_spans_pair (
List[Tuple[int, int]]
,List[List[Tuple[int, int]]]
, 可选) — 要编码的实体跨度的序列或批次序列。每个序列都包含元组,每个元组有两个整数,表示实体的基于字符的起始和结束位置。如果您在构造函数中指定了task
参数,则忽略此参数。如果您指定了entities_pair
,则每个序列的长度必须等于每个entities_pair
序列的长度。 - entities (
List[str]
,List[List[str]]
, 可选) — 要编码的实体的序列或批次序列。每个序列都包含表示实体的字符串,即特殊实体(例如,[MASK])或维基百科的实体标题(例如,洛杉矶)。如果您在构造函数中指定了task
参数,则忽略此参数。每个序列的长度必须等于每个entity_spans
序列的长度。如果您指定了entity_spans
但未指定此参数,则会自动构造实体序列或实体序列的批次,并将其填充为[MASK]实体。 - entities_pair (
List[str]
,List[List[str]]
, 可选) — 要编码的实体的序列或批次序列。每个序列都包含表示实体的字符串,即特殊实体(例如,[MASK])或维基百科的实体标题(例如,洛杉矶)。如果您在构造函数中指定了task
参数,则忽略此参数。每个序列的长度必须等于每个entity_spans_pair
序列的长度。如果您指定了entity_spans_pair
但未指定此参数,则会自动构造实体序列或实体序列的批次,并将其填充为[MASK]实体。 - max_entity_length (
int
, 可选) —entity_ids
的最大长度。 - add_special_tokens (
bool
, 可选,默认为True
) — 是否在编码序列时添加特殊标记。这将使用底层的PretrainedTokenizerBase.build_inputs_with_special_tokens
函数,该函数定义了哪些标记会自动添加到输入 ID 中。如果您想自动添加bos
或eos
标记,这将非常有用。 - padding (
bool
,str
或 PaddingStrategy,可选,默认为False
) — 激活并控制填充。接受以下值:True
或'longest'
:填充到批次中最长的序列(如果只提供单个序列,则不填充)。'max_length'
:填充到使用参数max_length
指定的最大长度,或者如果未提供该参数,则填充到模型可接受的最大输入长度。False
或'do_not_pad'
(默认):不填充(即,可以输出具有不同长度序列的批次)。
- truncation (
bool
,str
或 TruncationStrategy,可选,默认为False
) — 激活并控制截断。接受以下值:True
或'longest_first'
:截断到使用参数max_length
指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了序列对(或序列对的批次),这将逐个标记进行截断,从对中最长的序列中删除一个标记。'only_first'
:截断到使用参数max_length
指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了序列对(或序列对的批次),这将只截断对中的第一个序列。'only_second'
:截断到使用参数max_length
指定的最大长度,或者如果未提供该参数,则截断到模型可接受的最大输入长度。如果提供了序列对(或序列对的批次),这将只截断对中的第二个序列。False
或'do_not_truncate'
(默认):不截断(即,可以输出序列长度大于模型最大可接受输入大小的批次)。
- max_length (
int
,可选) — 通过截断/填充参数之一控制要使用的最大长度。如果未设置或设置为
None
,则如果截断/填充参数之一需要最大长度,则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度(如 XLNet),则将停用截断/填充到最大长度。 - stride (
int
,可选,默认为 0) — 如果与max_length
一起设置为一个数字,则当return_overflowing_tokens=True
时返回的溢出标记将包含截断序列末尾的一些标记,以在截断和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。 - is_split_into_words (
bool
,可选,默认为False
) — 输入是否已被预先分词(例如,拆分为单词)。如果设置为True
,则分词器假设输入已拆分为单词(例如,通过在空格处拆分),它将对这些单词进行分词。这对于 NER 或标记分类很有用。 - pad_to_multiple_of (
int
,可选) — 如果设置,则将序列填充到提供的值的倍数。需要激活padding
。这对于在具有计算能力>= 7.5
(Volta)的 NVIDIA 硬件上启用 Tensor Core 特别有用。 - padding_side (
str
,可选) — 模型应在其上应用填充的一侧。应从 [‘right’, ‘left’] 中选择。默认值从同名的类属性中获取。 - return_tensors (
str
或 TensorType,可选) — 如果设置,则返回张量而不是 Python 整数列表。可接受的值为:'tf'
:返回 TensorFlowtf.constant
对象。'pt'
:返回 PyTorchtorch.Tensor
对象。'np'
:返回 Numpynp.ndarray
对象。
- return_token_type_ids (
bool
,可选) — 是否返回标记类型 ID。如果保留为默认值,则将根据特定分词器的默认值返回标记类型 ID,由return_outputs
属性定义。 - return_attention_mask (
bool
,可选) — 是否返回注意力掩码。如果保留为默认值,则将根据特定分词器的默认值返回注意力掩码,由return_outputs
属性定义。 - return_overflowing_tokens (
bool
,可选,默认为False
) — 是否返回溢出标记序列。如果使用truncation_strategy = longest_first
或True
提供了一对输入 ID 序列(或一对批次),则会引发错误而不是返回溢出标记。 - return_special_tokens_mask (
bool
,可选,默认为False
) — 是否返回特殊标记掩码信息。 - return_offsets_mapping (
bool
, 可选,默认为False
) — 是否返回每个 token 的(char_start, char_end)
。此功能仅适用于继承自 PreTrainedTokenizerFast 的快速分词器,如果使用 Python 的分词器,此方法将引发
NotImplementedError
。 - return_length (
bool
, 可选,默认为False
) — 是否返回编码输入的长度。 - verbose (
bool
, 可选,默认为True
) — 是否打印更多信息和警告。 **kwargs — 传递给self.tokenize()
方法
一个 BatchEncoding,包含以下字段
-
input_ids — 要馈送到模型的 token ID 列表。
-
token_type_ids — 要馈送到模型的 token 类型 ID 列表(当
return_token_type_ids=True
或 “token_type_ids” 在self.model_input_names
中时)。 -
attention_mask — 指定模型应关注哪些 token 的索引列表(当
return_attention_mask=True
或 “attention_mask” 在self.model_input_names
中时)。 -
entity_ids — 要馈送到模型的实体 ID 列表。
-
entity_position_ids — 要馈送到模型的输入序列中实体位置的列表。
-
entity_token_type_ids — 要馈送到模型的实体 token 类型 ID 列表(当
return_token_type_ids=True
或 “entity_token_type_ids” 在self.model_input_names
中时)。 -
entity_attention_mask — 指定模型应关注哪些实体的索引列表(当
return_attention_mask=True
或 “entity_attention_mask” 在self.model_input_names
中时)。 -
entity_start_positions — 实体在词 token 序列中的起始位置列表(当
task="entity_span_classification"
时)。 -
entity_end_positions — 实体在词 token 序列中的结束位置列表(当
task="entity_span_classification"
时)。 -
overflowing_tokens — 超出部分的 token 序列列表(当指定了
max_length
且return_overflowing_tokens=True
时)。 -
num_truncated_tokens — 截断的 token 数量(当指定了
max_length
且return_overflowing_tokens=True
时)。 -
special_tokens_mask — 0 和 1 的列表,其中 1 表示添加的特殊 token,0 表示常规序列 token(当
add_special_tokens=True
且return_special_tokens_mask=True
时)。 -
length — 输入的长度(当
return_length=True
时)
主要方法,用于根据您要准备的任务,分词并准备一个或多个序列或一个或多个序列对。