BROS
概述
BROS 模型由 Teakgyu Hong、Donghyun Kim、Mingi Ji、Wonseok Hwang、Daehyun Nam、Sungrae Park 在BROS:一种专注于文本和布局的预训练语言模型,用于更好地从文档中提取关键信息中提出。
BROS 代表*依赖空间信息的 BERT*。它是一个仅编码器 Transformer 模型,将一系列标记及其边界框作为输入,并输出一系列隐藏状态。BROS 编码相对空间信息,而不是使用绝对空间信息。
它使用两个目标进行预训练:BERT 中使用的标记掩码语言建模目标 (TMLM) 和一种新颖的区域掩码语言建模目标 (AMLM)。在 TMLM 中,标记被随机掩码,模型使用空间信息和其他未掩码标记预测掩码标记。AMLM 是 TMLM 的二维版本。它随机掩码文本标记并使用与 TMLM 相同的信息进行预测,但它掩码的是文本块(区域)。
BrosForTokenClassification
在 BrosModel 之上有一个简单的线性层。它预测每个标记的标签。BrosSpadeEEForTokenClassification
在 BrosModel 之上有一个 initial_token_classifier
和 subsequent_token_classifier
。initial_token_classifier
用于预测每个实体的第一个标记,subsequent_token_classifier
用于预测实体内的下一个标记。BrosSpadeELForTokenClassification
在 BrosModel 之上有一个 entity_linker
。entity_linker
用于预测两个实体之间的关系。
BrosForTokenClassification
和 BrosSpadeEEForTokenClassification
本质上执行相同的工作。但是,BrosForTokenClassification
假设输入标记是完美序列化的(这是一项非常具有挑战性的任务,因为它们存在于二维空间中),而 BrosSpadeEEForTokenClassification
允许在处理序列化错误方面更大的灵活性,因为它从一个标记预测下一个连接标记。
BrosSpadeELForTokenClassification
执行实体内链接任务。如果两个实体共享某种关系,它会预测从一个标记(一个实体)到另一个标记(另一个实体)的关系。
BROS 在关键信息提取 (KIE) 基准测试(如 FUNSD、SROIE、CORD 和 SciTSR)上取得了相当或更好的结果,而无需依赖显式的视觉特征。
论文的摘要是:
从文档图像中提取关键信息 (KIE) 需要理解二维 (2D) 空间中文本的上下文和空间语义。最近的许多研究试图通过开发预训练语言模型来解决这个问题,这些模型侧重于将文档图像中的视觉特征与其文本和布局相结合。另一方面,本文通过回归基础来解决这个问题:有效地结合文本和布局。具体来说,我们提出了一个名为 BROS(依赖空间性的 BERT)的预训练语言模型,它对二维空间中文本的相对位置进行编码,并使用区域掩码策略从未标记的文档中学习。通过这种针对理解二维空间中文本的优化训练方案,BROS 在四个 KIE 基准测试(FUNSD、SROIE、CORD 和 SciTSR)上与先前的方法相比表现出相当或更好的性能,而无需依赖视觉特征。本文还揭示了 KIE 任务中的两个现实挑战——(1) 最小化来自不正确文本排序的错误和 (2) 从较少的下游示例中进行有效学习——并证明了 BROS 相对于先前方法的优越性。*
此模型由 jinho8345 贡献。原始代码可以在 此处 找到。
使用技巧和示例
- forward() 需要
input_ids
和bbox
(边界框)。每个边界框应采用 (x0, y0, x1, y1) 格式(左上角、右下角)。边界框的获取取决于外部 OCR 系统。x
坐标应通过文档图像宽度进行归一化,y
坐标应通过文档图像高度进行归一化。
def expand_and_normalize_bbox(bboxes, doc_width, doc_height):
# here, bboxes are numpy array
# Normalize bbox -> 0 ~ 1
bboxes[:, [0, 2]] = bboxes[:, [0, 2]] / width
bboxes[:, [1, 3]] = bboxes[:, [1, 3]] / height
- [
~transformers.BrosForTokenClassification.forward
、~transformers.BrosSpadeEEForTokenClassification.forward
、~transformers.BrosSpadeEEForTokenClassification.forward
] 不仅需要input_ids
和bbox
,还需要box_first_token_mask
来计算损失。它是一个掩码,用于过滤掉每个框的非首个标记。您可以在从单词创建input_ids
时保存边界框的起始标记索引来获取此掩码。您可以使用以下代码创建box_first_token_mask
:
def make_box_first_token_mask(bboxes, words, tokenizer, max_seq_length=512):
box_first_token_mask = np.zeros(max_seq_length, dtype=np.bool_)
# encode(tokenize) each word from words (List[str])
input_ids_list: List[List[int]] = [tokenizer.encode(e, add_special_tokens=False) for e in words]
# get the length of each box
tokens_length_list: List[int] = [len(l) for l in input_ids_list]
box_end_token_indices = np.array(list(itertools.accumulate(tokens_length_list)))
box_start_token_indices = box_end_token_indices - np.array(tokens_length_list)
# filter out the indices that are out of max_seq_length
box_end_token_indices = box_end_token_indices[box_end_token_indices < max_seq_length - 1]
if len(box_start_token_indices) > len(box_end_token_indices):
box_start_token_indices = box_start_token_indices[: len(box_end_token_indices)]
# set box_start_token_indices to True
box_first_token_mask[box_start_token_indices] = True
return box_first_token_mask
资源
- 演示脚本可以在 此处 找到。
BrosConfig
类 transformers.BrosConfig
< 来源 >( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 0 dim_bbox = 8 bbox_scale = 100.0 n_relations = 1 classifier_dropout_prob = 0.1 **kwargs )
参数
- vocab_size (
int
, 可选, 默认值为 30522) — Bros 模型的词汇表大小。定义了在调用 BrosModel 或TFBrosModel
时传递的inputs_ids
可以表示的不同标记的数量。 - hidden_size (
int
, 可选, 默认值为 768) — 编码器层和池化层的维度。 - num_hidden_layers (
int
, 可选, 默认值为 12) — Transformer 编码器中的隐藏层数。 - num_attention_heads (
int
, 可选, 默认值为 12) — Transformer 编码器中每个注意力层的注意力头数。 - intermediate_size (
int
, 可选, 默认值为 3072) — Transformer 编码器中“中间”(通常称为前馈)层的维度。 - hidden_act (
str
或Callable
, 可选, 默认为"gelu"
) — 编码器和池化器中使用的非线性激活函数(函数或字符串)。如果为字符串,则支持"gelu"
、"relu"
、"silu"
和"gelu_new"
。 - hidden_dropout_prob (
float
, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float
, 可选, 默认为 0.1) — 注意力概率的 dropout 比率。 - max_position_embeddings (
int
, 可选, 默认为 512) — 此模型可能用到的最大序列长度。通常设置为较大的值以防万一(例如 512 或 1024 或 2048)。 - type_vocab_size (
int
, 可选, 默认为 2) — 调用 BrosModel 或TFBrosModel
时传递的token_type_ids
的词汇表大小。 - initializer_range (
float
, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float
, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon。 - pad_token_id (
int
,可选,默认为 0) — 词汇表中填充标记的索引。 - dim_bbox (
int
,可选,默认为 8) — 边界框坐标的维度。 (x0, y1, x1, y0, x1, y1, x0, y1) - bbox_scale (
float
,可选,默认为 100.0) — 边界框坐标的缩放因子。 - n_relations (
int
,可选,默认为 1) — SpadeEE(实体提取), SpadeEL(实体链接) 头部的关系数量。 - classifier_dropout_prob (
float
,可选,默认为 0.1) — 分类器头的 dropout 比率。
这是用于存储 BrosModel 或 TFBrosModel
配置的配置类。它用于根据指定的参数实例化 Bros 模型,定义模型架构。使用默认值实例化配置将产生与 Bros jinho8345/bros-base-uncased 架构类似的配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。有关更多信息,请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import BrosConfig, BrosModel
>>> # Initializing a BROS jinho8345/bros-base-uncased style configuration
>>> configuration = BrosConfig()
>>> # Initializing a model from the jinho8345/bros-base-uncased style configuration
>>> model = BrosModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
BrosProcessor
class transformers.BrosProcessor
< 源代码 >( tokenizer = None **kwargs )
构造一个包装 BERT 分词器的 Bros 处理器。
BrosProcessor 提供 BertTokenizerFast 的所有功能。有关更多信息,请参阅 call() 和 decode()
的文档字符串。
__call__
< source >( text: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 pad_to_multiple_of: Optional = None return_token_type_ids: Optional = None return_attention_mask: Optional = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True return_tensors: Union = None **kwargs )
此方法使用 BertTokenizerFast.call() 准备模型的文本。
有关更多信息,请参阅上述两种方法的文档字符串。
BrosModel
class transformers.BrosModel
< source >( config add_pooling_layer = True )
参数
- config (BrosConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重,只会加载配置。 查看 from_pretrained() 方法来加载模型权重。
Bros 模型是一个基本的 Transformer 模型,它输出原始的隐藏状态,顶部没有任何特定的头部。 该模型也是 PyTorch torch.nn.Module 的子类。 将其用作常规的 PyTorch 模块,并参考 PyTorch 文档以获取有关一般用法和行为的所有信息。
forward
< source >( input_ids: Optional = None bbox: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions or tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
) — 词汇表中输入序列标记的索引。可以使用 BrosProcessor 获取索引。 有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (‘torch.FloatTensor’ of shape ‘(batch_size, num_boxes, 4)’) — 输入序列中每个标记的边界框坐标。 每个边界框都是一个包含四个值的列表 (x1, y1, x2, y2),其中 (x1, y1) 是边界框的左上角坐标,(x2, y2) 是边界框的右下角坐标。
- attention_mask (
torch.FloatTensor
, 形状为(batch_size, sequence_length)
, 可选) — 掩码,用于避免对填充标记索引执行注意力。掩码值在[0, 1]
中选择:- 1 表示 未被掩码 的标记,
- 0 表示 已被掩码 的标记。
- bbox_first_token_mask (
torch.FloatTensor
, 形状为(batch_size, sequence_length)
, 可选) — 掩码,用于指示每个边界框的第一个标记。掩码值在[0, 1]
中选择:- 1 表示 未被掩码 的标记,
- 0 表示 已被掩码 的标记。
- token_type_ids (
torch.LongTensor
, 形状为(batch_size, sequence_length)
, 可选) — 段标记索引,用于指示输入的第一部分和第二部分。索引在[0, 1]
中选择:- 0 对应于 句子 A 标记,
- 1 对应于 句子 B 标记。
- position_ids (
torch.LongTensor
, 形状为(batch_size, sequence_length)
, 可选) — 位置嵌入中每个输入序列标记的位置索引。在[0, config.max_position_embeddings - 1]
范围内选择。 - head_mask (
torch.FloatTensor
, 形状为(num_heads,)
或(num_layers, num_heads)
, 可选) — 掩码,用于使自注意力模块的选定头部无效。掩码值在[0, 1]
中选择:- 1 表示头部 未被掩码,
- 0 表示头部 已被掩码。
- inputs_embeds (
torch.FloatTensor
, 形状为(batch_size, sequence_length, hidden_size)
, 可选) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望比模型的内部嵌入查找矩阵更能控制如何将input_ids
索引转换为关联向量,则此选项很有用。 - output_attentions (
bool
,可选) — 是否返回所有注意力层的注意力张量。有关详细信息,请参阅返回张量下的 `attentions`。 - output_hidden_states (
bool
,可选) — 是否返回所有层的隐藏状态。有关详细信息,请参阅返回张量下的 `hidden_states`。 - return_dict (
bool
,可选) — 是否返回 ModelOutput 而不是普通元组。
返回值
transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或一个 torch.FloatTensor
元组(如果传递了 return_dict=False
或 config.return_dict=False
)包含根据配置 (BrosConfig) 和输入而定的各种元素。
-
last_hidden_state (
torch.FloatTensor
,形状为(batch_size, sequence_length, hidden_size)
) — 模型最后一层输出的隐藏状态序列。 -
pooler_output (
torch.FloatTensor
,形状为(batch_size, hidden_size)
) — 序列第一个标记(分类标记)在经过用于辅助预训练任务的层进一步处理后的最后一层隐藏状态。例如,对于 BERT 系列模型,这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重在预训练期间从下一个句子预测(分类)目标中训练得到。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,在传递output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每一层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型在每一层输出处的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
,可选,在传递output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每一层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
-
cross_attentions (
tuple(torch.FloatTensor)
,可选,在传递output_attentions=True
和config.add_cross_attention=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每一层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器交叉注意力层在注意力 softmax 后的注意力权重,用于计算交叉注意力头中的加权平均值。
-
past_key_values (
tuple(tuple(torch.FloatTensor))
,可选,在传递use_cache=True
或config.use_cache=True
时返回) — 长度为config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量,如果config.is_encoder_decoder=True
,则可选 2 个形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的附加张量。包含预先计算的隐藏状态(自注意力块中的键和值,如果
config.is_encoder_decoder=True
,则可选交叉注意力块中的键和值),可用于(参见past_key_values
输入)加速顺序解码。
BrosModel 前向方法,覆盖了 __call__
特殊方法。
尽管前向传递的配方需要在此函数中定义,但之后应该调用 Module
实例而不是此实例,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosModel
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosModel.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)
>>> last_hidden_states = outputs.last_hidden_state
BrosForTokenClassification
类 transformers.BrosForTokenClassification
< source >( config )
参数
- config (BrosConfig) — 模型配置类,包含模型的所有参数。 使用配置文件初始化不会加载与模型关联的权重,只会加载配置。 查看 from_pretrained() 方法来加载模型权重。
Bros 模型顶部有一个标记分类头(隐藏状态输出顶部的线性层),例如用于命名实体识别 (NER) 任务。
此模型也是一个 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块,并参阅 PyTorch 文档以获取与一般用法和行为相关的所有内容。
forward
< source >( input_ids: Optional = None bbox: Optional = None attention_mask: Optional = None bbox_first_token_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.TokenClassifierOutput or tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
) — 词汇表中输入序列标记的索引。索引可以使用 BrosProcessor 获取。 有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (形状为 `(batch_size, num_boxes, 4)` 的 `torch.FloatTensor`) — 输入序列中每个词符的边界框坐标。每个边界框由四个值组成 (x1, y1, x2, y2),其中 (x1, y1) 是边界框左上角的坐标,(x2, y2) 是边界框右下角的坐标。
- attention_mask (形状为 `(batch_size, sequence_length)` 的 `torch.FloatTensor`,可选)— 掩码,用于避免对填充词符索引执行注意力机制。掩码值在 `[0, 1]` 中选择:
- 1 表示词符**未被掩盖**,
- 0 表示词符**已被掩盖**。
- bbox_first_token_mask (形状为 `(batch_size, sequence_length)` 的 `torch.FloatTensor`,可选) — 掩码,用于指示每个边界框的第一个词符。掩码值在 `[0, 1]` 中选择:
- 1 表示词符**未被掩盖**,
- 0 表示词符**已被掩盖**。
- token_type_ids (形状为 `(batch_size, sequence_length)` 的 `torch.LongTensor`,可选)— 段落词符索引,用于指示输入的第一部分和第二部分。索引在 `[0, 1]` 中选择:
- 0 对应于*句子 A* 的词符,
- 1 对应于*句子 B* 的词符。
- position_ids (形状为 `(batch_size, sequence_length)` 的 `torch.LongTensor`,可选)— 位置嵌入中每个输入序列词符的位置索引。在 `[0, config.max_position_embeddings - 1]` 范围内选择。
- head_mask (形状为 `(num_heads,)` 或 `(num_layers, num_heads)` 的 `torch.FloatTensor`,可选)— 掩码,用于将自注意力模块的选定头部置零。掩码值在 `[0, 1]` 中选择:
- 1 表示头部**未被掩盖**,
- 0 表示头部**已被掩盖**。
- inputs_embeds (形状为 `(batch_size, sequence_length, hidden_size)` 的 `torch.FloatTensor`,可选) — 可选参数,您可以选择直接传递嵌入表示,而不是传递 `input_ids`。如果您想比模型的内部嵌入查找矩阵更好地控制如何将 `input_ids` 索引转换为关联向量,则此参数非常有用。
- output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通的元组。
返回值
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor
的元组(如果传递了 return_dict=False
或 config.return_dict=False
),包含根据配置 (BrosConfig) 和输入的不同元素。
-
loss (形状为
(1,)
的torch.FloatTensor
, 可选,当提供labels
时返回) — 分类损失。 -
logits (形状为
(batch_size, sequence_length, config.num_labels)
的torch.FloatTensor
) — 分类分数(SoftMax 之前)。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,在传递output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每一层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型在每一层输出处的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
,可选,在传递output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每一层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
BrosForTokenClassification forward 方法,覆盖 __call__
特殊方法。
尽管前向传递的配方需要在此函数中定义,但之后应该调用 Module
实例而不是此实例,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)
BrosSpadeEEForTokenClassification
类 transformers.BrosSpadeEEForTokenClassification
< 源代码 >( config )
参数
- config (BrosConfig) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重,只会加载配置。查看 from_pretrained() 方法来加载模型权重。
Bros 模型,顶部有一个标记分类头(在隐藏状态输出之上的 initial_token_layers 和 subsequent_token_layer),例如用于命名实体识别 (NER) 任务。initial_token_classifier 用于预测每个实体的第一个标记,subsequent_token_classifier 用于预测实体内的后续标记。与 BrosForTokenClassification 相比,该模型对序列化错误更稳健,因为它从一个标记预测下一个标记。
此模型也是一个 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块,并参阅 PyTorch 文档以获取与一般用法和行为相关的所有内容。
forward
< source >( input_ids: Optional = None bbox: Optional = None attention_mask: Optional = None bbox_first_token_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None initial_token_labels: Optional = None subsequent_token_labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.models.bros.modeling_bros.BrosSpadeOutput
或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
形状为(batch_size, sequence_length)
) — 词汇表中输入序列标记的索引。索引可以使用 BrosProcessor 获取。 有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (‘torch.FloatTensor’ 形状为 ‘(batch_size, num_boxes, 4)’) — 输入序列中每个标记的边界框坐标。 每个边界框是由四个值 (x1, y1, x2, y2) 组成的列表,其中 (x1, y1) 是边界框的左上角坐标,(x2, y2) 是边界框的右下角坐标。
- attention_mask (
torch.FloatTensor
形状为(batch_size, sequence_length)
, 可选) — 掩码以避免对填充标记索引执行注意力。 在[0, 1]
中选择的掩码值:- 1 表示标记未被屏蔽,
- 0 表示标记已被屏蔽。
- bbox_first_token_mask (
torch.FloatTensor
类型,形状为(batch_size, sequence_length)
,可选) — 指示每个边界框第一个标记的掩码。掩码值在[0, 1]
中选择:- 未被掩码 的标记为 1,
- 被掩码 的标记为 0。
- token_type_ids (
torch.LongTensor
类型,形状为(batch_size, sequence_length)
,可选) — 用于区分输入的不同部分的段落标记索引。索引值在[0, 1]
中选择:- 0 对应 *句子 A* 标记,
- 1 对应 *句子 B* 标记。
- position_ids (
torch.LongTensor
类型,形状为(batch_size, sequence_length)
,可选) — 每个输入序列标记在位置嵌入中的位置索引。在[0, config.max_position_embeddings - 1]
范围内选择。 - head_mask (
torch.FloatTensor
类型,形状为(num_heads,)
或(num_layers, num_heads)
,可选) — 用于将自注意力模块的选定头部置零的掩码。掩码值在[0, 1]
中选择:- 1 表示该头部未被掩码,
- 0 表示该头部被掩码。
- inputs_embeds (
torch.FloatTensor
类型,形状为(batch_size, sequence_length, hidden_size)
,可选) — 可以选择直接传递嵌入表示,而不是传递input_ids
。如果希望比模型的内部嵌入查找矩阵更好地控制如何将input_ids
索引转换为关联向量,则此选项很有用。 - output_attentions (
bool
,可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的attentions
。 - output_hidden_states (
bool
,可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的hidden_states
。 - return_dict (
bool
, *可选*) — 是否返回 ModelOutput 而不是普通元组。
返回值
transformers.models.bros.modeling_bros.BrosSpadeOutput
或 tuple(torch.FloatTensor)
一个 transformers.models.bros.modeling_bros.BrosSpadeOutput
或一个 torch.FloatTensor
的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含根据配置 (BrosConfig) 和输入而定的各种元素。
-
loss (形状为
(1,)
的torch.FloatTensor
, 可选,当提供labels
时返回) — 分类损失。 -
initial_token_logits (
torch.FloatTensor
形状为(batch_size, sequence_length, config.num_labels)
) — 实体初始标记(SoftMax 之前)的分类分数。 -
subsequent_token_logits (
torch.FloatTensor
形状为(batch_size, sequence_length, sequence_length+1)
) — 实体序列标记(SoftMax 之前)的分类分数。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,在传递output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每一层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型在每一层输出处的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
,可选,在传递output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每一层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
BrosSpadeEEForTokenClassification 正向方法,覆盖 __call__
特殊方法。
尽管前向传递的配方需要在此函数中定义,但之后应该调用 Module
实例而不是此实例,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosSpadeEEForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosSpadeEEForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)
BrosSpadeELForTokenClassification
类 transformers.BrosSpadeELForTokenClassification
< source >( config )
参数
- config (BrosConfig) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重,只会加载配置。请查看 from_pretrained() 方法来加载模型权重。
Bros 模型,顶部有一个标记分类头(隐藏状态输出顶部有一个 entity_linker 层),例如用于实体链接。entity_linker 用于预测实体内链接(一个实体到另一个实体)。
此模型也是一个 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块,并参阅 PyTorch 文档以获取与一般用法和行为相关的所有内容。
forward
< source >( input_ids: Optional = None bbox: Optional = None attention_mask: Optional = None bbox_first_token_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.TokenClassifierOutput or tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
形状为(batch_size, sequence_length)
) — 词汇表中输入序列标记的索引。索引可以使用 BrosProcessor 获取。有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (
torch.FloatTensor
类型,形状为(batch_size, num_boxes, 4)
) - 输入序列中每个词例的边界框坐标。每个边界框由四个值组成 (x1, y1, x2, y2),其中 (x1, y1) 是边界框左上角的坐标,(x2, y2) 是边界框右下角的坐标。 - attention_mask (
torch.FloatTensor
类型,形状为(batch_size, sequence_length)
,可选) - 掩码,用于避免对填充词例索引执行注意力机制。掩码值在[0, 1]
中选择:- 1 表示词例**未被掩盖**,
- 0 表示词例**已被掩盖**。
- bbox_first_token_mask (
torch.FloatTensor
类型,形状为(batch_size, sequence_length)
,可选) - 掩码,用于指示每个边界框的第一个词例。掩码值在[0, 1]
中选择:- 1 表示词例**未被掩盖**,
- 0 表示词例**已被掩盖**。
- token_type_ids (
torch.LongTensor
类型,形状为(batch_size, sequence_length)
,可选) - 片段词例索引,用于指示输入的第一部分和第二部分。索引在[0, 1]
中选择:- 0 对应于*句子 A* 的词例,
- 1 对应于*句子 B* 的词例。
- position_ids (
torch.LongTensor
类型,形状为(batch_size, sequence_length)
,可选) - 位置嵌入中每个输入序列词例的位置索引。在[0, config.max_position_embeddings - 1]
范围内选择。 - head_mask (
torch.FloatTensor
类型,形状为(num_heads,)
或(num_layers, num_heads)
,可选) - 掩码,用于将自注意力模块中选定的头部置零。掩码值在[0, 1]
中选择:- 1 表示头部**未被掩盖**,
- 0 表示头部**已被掩盖**。
- inputs_embeds (
torch.FloatTensor
类型,形状为(batch_size, sequence_length, hidden_size)
,可选) - 您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您想比模型的内部嵌入查找矩阵更能控制如何将input_ids
索引转换为关联向量,这将非常有用。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通的元组。
返回值
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor
的元组(如果传递了 return_dict=False
或 config.return_dict=False
),包含根据配置 (BrosConfig) 和输入的不同元素。
-
loss (形状为
(1,)
的torch.FloatTensor
, 可选,当提供labels
时返回) — 分类损失。 -
logits (形状为
(batch_size, sequence_length, config.num_labels)
的torch.FloatTensor
) — 分类分数(SoftMax 之前)。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,在传递output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每一层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型在每一层输出处的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
,可选,在传递output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每一层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
BrosSpadeELForTokenClassification 的 forward 方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数中定义,但之后应该调用 Module
实例而不是此实例,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosSpadeELForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosSpadeELForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)