Transformers 文档
BROS
并获得增强的文档体验
开始使用
BROS
概述
BROS 模型是由 Teakgyu Hong、Donghyun Kim、Mingi Ji、Wonseok Hwang、Daehyun Nam、Sungrae Park 在 BROS: A Pre-trained Language Model Focusing on Text and Layout for Better Key Information Extraction from Documents 中提出的。
BROS 代表 *BERT Relying On Spatiality*。它是一个仅编码器Transformer模型，以令牌序列及其边界框作为输入，并输出隐藏状态序列。BROS 编码相对空间信息而不是使用绝对空间信息。
它通过两个目标进行预训练：BERT 中使用的令牌掩码语言建模目标（TMLM）和一种新颖的区域掩码语言建模目标（AMLM）。在 TMLM 中，令牌被随机掩码，模型使用空间信息和其他未掩码的令牌来预测被掩码的令牌。AMLM 是 TMLM 的 2D 版本。它随机掩码文本令牌并使用与 TMLM 相同的信息进行预测，但它掩码的是文本块（区域）。
BrosForTokenClassification 在 BrosModel 之上有一个简单的线性层。它预测每个令牌的标签。BrosSpadeEEForTokenClassification 在 BrosModel 之上有一个 initial_token_classifier 和 subsequent_token_classifier。initial_token_classifier 用于预测每个实体的第一个令牌，而 subsequent_token_classifier 用于预测实体内的下一个令牌。BrosSpadeELForTokenClassification 在 BrosModel 之上有一个 entity_linker。entity_linker 用于预测两个实体之间的关系。
BrosForTokenClassification 和 BrosSpadeEEForTokenClassification 本质上执行相同的工作。然而，BrosForTokenClassification 假设输入令牌是完美序列化的（由于它们存在于 2D 空间中，这是一个非常具有挑战性的任务），而 BrosSpadeEEForTokenClassification 允许在处理序列化错误方面具有更大的灵活性，因为它从一个令牌预测下一个连接令牌。
BrosSpadeELForTokenClassification 执行实体内链接任务。如果两个实体之间存在某种关系，它会预测从一个令牌（属于一个实体）到另一个令牌（属于另一个实体）的关系。
BROS 在 FUNSD、SROIE、CORD 和 SciTSR 等关键信息提取 (KIE) 基准测试中取得了可比或更好的结果，而无需依赖明确的视觉特征。
论文摘要如下：
从文档图像中提取关键信息 (KIE) 需要理解二维 (2D) 空间中文本的上下文和空间语义。许多最近的研究试图通过开发预训练语言模型来解决该任务，这些模型侧重于将文档图像中的视觉特征与文本及其布局相结合。另一方面，本文通过回归基本：文本和布局的有效组合来解决该问题。具体来说，我们提出了一种名为 BROS (BERT Relying On Spatiality) 的预训练语言模型，该模型编码 2D 空间中文本的相对位置，并通过区域掩码策略从无标签文档中学习。凭借这种用于理解 2D 空间中文本的优化训练方案，BROS 在四个 KIE 基准测试 (FUNSD、SROIE、CORD 和 SciTSR) 中显示出与以前方法相当或更好的性能，而无需依赖视觉特征。本文还揭示了 KIE 任务中的两个真实世界挑战——(1) 最小化不正确的文本排序导致的错误，以及 (2) 从更少的下游示例中高效学习——并证明了 BROS 相对于以前方法的优越性。*
此模型由 jinho8345 贡献。原始代码可在 此处 找到。
使用技巧和示例
- forward() 需要
input_ids和bbox（边界框）。每个边界框应为 (x0, y0, x1, y1) 格式（左上角，右下角）。边界框的获取取决于外部 OCR 系统。x坐标应按文档图像宽度归一化，y坐标应按文档图像高度归一化。
def expand_and_normalize_bbox(bboxes, doc_width, doc_height):
# here, bboxes are numpy array
# Normalize bbox -> 0 ~ 1
bboxes[:, [0, 2]] = bboxes[:, [0, 2]] / width
bboxes[:, [1, 3]] = bboxes[:, [1, 3]] / height- [
~transformers.BrosForTokenClassification.forward,~transformers.BrosSpadeEEForTokenClassification.forward,~transformers.BrosSpadeEEForTokenClassification.forward] 不仅需要input_ids和bbox，还需要box_first_token_mask用于损失计算。它是一个掩码，用于过滤掉每个框的非第一个令牌。您可以通过在从单词创建input_ids时保存边界框的起始令牌索引来获取此掩码。您可以使用以下代码创建box_first_token_mask，
def make_box_first_token_mask(bboxes, words, tokenizer, max_seq_length=512):
box_first_token_mask = np.zeros(max_seq_length, dtype=np.bool_)
# encode(tokenize) each word from words (list[str])
input_ids_list: list[list[int]] = [tokenizer.encode(e, add_special_tokens=False) for e in words]
# get the length of each box
tokens_length_list: list[int] = [len(l) for l in input_ids_list]
box_end_token_indices = np.array(list(itertools.accumulate(tokens_length_list)))
box_start_token_indices = box_end_token_indices - np.array(tokens_length_list)
# filter out the indices that are out of max_seq_length
box_end_token_indices = box_end_token_indices[box_end_token_indices < max_seq_length - 1]
if len(box_start_token_indices) > len(box_end_token_indices):
box_start_token_indices = box_start_token_indices[: len(box_end_token_indices)]
# set box_start_token_indices to True
box_first_token_mask[box_start_token_indices] = True
return box_first_token_mask
资源
- 演示脚本可在 此处 找到。
BrosConfig
class transformers.BrosConfig
< 源 >( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 0 dim_bbox = 8 bbox_scale = 100.0 n_relations = 1 classifier_dropout_prob = 0.1 **kwargs )
参数
- vocab_size (
int, 可选, 默认为 30522) — Bros 模型的词汇表大小。定义了调用 BrosModel 或TFBrosModel时可以由inputs_ids表示的不同令牌的数量。 - hidden_size (
int, 可选, 默认为 768) — 编码器层和池化层维度。 - num_hidden_layers (
int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数量。 - num_attention_heads (
int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数量。 - intermediate_size (
int, 可选, 默认为 3072) — Transformer 编码器中“中间”（通常称为前馈）层的维度。 - hidden_act (
str或Callable, 可选, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，则支持"gelu"、"relu"、"silu"和"gelu_new"。 - hidden_dropout_prob (
float, 可选, 默认为 0.1) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认为 0.1) — 注意力概率的 dropout 比率。 - max_position_embeddings (
int, 可选, 默认为 512) — 此模型可能使用的最大序列长度。通常为了以防万一会设置一个较大的值（例如 512、1024 或 2048）。 - type_vocab_size (
int, 可选, 默认为 2) — 调用 BrosModel 或TFBrosModel时传递的token_type_ids的词汇表大小。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon 值。 - pad_token_id (
int, 可选, 默认为 0) — 令牌词汇表中填充令牌的索引。 - dim_bbox (
int, 可选, 默认为 8) — 边界框坐标的维度。(x0, y1, x1, y0, x1, y1, x0, y1) - bbox_scale (
float, 可选, 默认为 100.0) — 边界框坐标的比例因子。 - n_relations (
int, 可选, 默认为 1) — SpadeEE（实体提取）、SpadeEL（实体链接）头的关系数量。 - classifier_dropout_prob (
float, 可选, 默认为 0.1) — 分类器头的 dropout 比率。
这是配置类，用于存储 BrosModel 或 TFBrosModel 的配置。它用于根据指定的参数实例化 Bros 模型，定义模型架构。使用默认值实例化配置将生成与 Bros jinho8345/bros-base-uncased 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。
示例
>>> from transformers import BrosConfig, BrosModel
>>> # Initializing a BROS jinho8345/bros-base-uncased style configuration
>>> configuration = BrosConfig()
>>> # Initializing a model from the jinho8345/bros-base-uncased style configuration
>>> model = BrosModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configBrosProcessor
class transformers.BrosProcessor
< 源 >( tokenizer = None **kwargs )
构造一个 Bros 处理器，它封装了一个 BERT 分词器。
BrosProcessor 提供了 BertTokenizerFast 的所有功能。有关更多信息，请参阅 call() 和 decode() 的文档字符串。
__call__
< 源 >( text: typing.Union[str, list[str], list[list[str]]] = None add_special_tokens: bool = True padding: typing.Union[bool, str, transformers.utils.generic.PaddingStrategy] = False truncation: typing.Union[bool, str, transformers.tokenization_utils_base.TruncationStrategy] = None max_length: typing.Optional[int] = None stride: int = 0 pad_to_multiple_of: typing.Optional[int] = None return_token_type_ids: typing.Optional[bool] = None return_attention_mask: typing.Optional[bool] = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None **kwargs )
此方法使用 BertTokenizerFast.call() 来准备文本供模型使用。
有关更多信息，请参阅上述两种方法的文档字符串。
BrosModel
class transformers.BrosModel
< 源 >( config add_pooling_layer = True )
参数
- config (BrosModel) — 包含模型所有参数的模型配置类。用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法以加载模型权重。
- add_pooling_layer (
bool, 可选, 默认为True) — 是否添加池化层
裸 Bros 模型，不带任何特定头部，直接输出原始隐藏状态。
此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或 tuple(torch.FloatTensor)
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (形状为 ‘(batch_size, num_boxes, 4)’ 的
'torch.FloatTensor') — 输入序列中每个标记的边界框坐标。每个边界框是四个值（x1, y1, x2, y2）的列表，其中 (x1, y1) 是左上角，(x2, y2) 是边界框的右下角。 - attention_mask (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 掩码，用于避免对填充标记索引执行注意力。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- token_type_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 分段标记索引，用于指示输入的第一个和第二个部分。索引选自[0, 1]：- 0 对应于句子 A 标记，
- 1 对应于句子 B 标记。
- position_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 位置嵌入中每个输入序列标记位置的索引。选自范围[0, config.n_positions - 1]。 - head_mask (形状为
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可选) — 掩码，用于使自注意力模块的选定头部无效。掩码值选自[0, 1]：- 1 表示头部未被遮盖，
- 0 表示头部被遮盖。
- inputs_embeds (形状为
(batch_size, sequence_length, hidden_size)的torch.Tensor，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。如果您希望对如何将input_ids索引转换为关联向量拥有比模型内部嵌入查找矩阵更多的控制权，则此功能很有用。 - encoder_hidden_states (形状为
(batch_size, sequence_length, hidden_size)的torch.Tensor，可选) — 编码器最后一层输出的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。 - encoder_attention_mask (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 掩码，用于避免对编码器输入中的填充标记索引执行注意力。如果模型配置为解码器，则此掩码在交叉注意力中使用。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- past_key_values (
list[torch.FloatTensor]，可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码上一阶段返回的past_key_values，当use_cache=True或config.use_cache=True时。允许两种格式：
- 一个 Cache 实例，请参阅我们的 kv 缓存指南；
- 长度为
config.n_layers的tuple(torch.FloatTensor)元组，每个元组包含两个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量。这也称为旧版缓存格式。
模型将输出与输入相同的缓存格式。如果未传递
past_key_values，则将返回旧版缓存格式。如果使用
past_key_values，用户可以选择只输入形状为(batch_size, 1)的最后一个input_ids（那些没有将其过去的键值状态提供给此模型的），而不是所有形状为(batch_size, sequence_length)的input_ids。 - use_cache (
bool，可选) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（参见past_key_values）。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置 (BrosConfig) 和输入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。 -
pooler_output (形状为
(batch_size, hidden_size)的torch.FloatTensor) — 经过用于辅助预训练任务的层进一步处理后，序列中第一个标记（分类标记）的最后一层隐藏状态。例如，对于 BERT 家族模型，这会在经过线性层和 tanh 激活函数处理后返回分类标记。线性层权重在预训练期间根据下一个句子预测（分类）目标进行训练。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（如果模型有嵌入层，则一个用于嵌入输出，加上每个层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
-
cross_attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True和config.add_cross_attention=True或config.output_attentions=True时返回) —torch.FloatTensor元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。
-
past_key_values (
Cache，可选，当传递use_cache=True或config.use_cache=True时返回) — 这是一个 Cache 实例。有关详细信息，请参阅我们的 kv 缓存指南。包含预计算的隐藏状态（自注意力块中的键和值，如果
config.is_encoder_decoder=True，则可选地在交叉注意力块中），可用于（参见past_key_values输入）加速顺序解码。
BrosModel 的前向方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在此函数中定义，但此后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosModel
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosModel.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)
>>> last_hidden_states = outputs.last_hidden_stateBrosForTokenClassification
class transformers.BrosForTokenClassification
< source >( config )
参数
- config (BrosForTokenClassification) — 包含模型所有参数的模型配置类。用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
Bros Transformer，顶部带有一个标记分类头（隐藏状态输出顶部的线性层），例如用于命名实体识别（NER）任务。
此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None bbox_first_token_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (形状为 ‘(batch_size, num_boxes, 4)’ 的
'torch.FloatTensor') — 输入序列中每个标记的边界框坐标。每个边界框是四个值（x1, y1, x2, y2）的列表，其中 (x1, y1) 是左上角，(x2, y2) 是边界框的右下角。 - attention_mask (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 掩码，用于避免对填充标记索引执行注意力。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- bbox_first_token_mask (形状为
(batch_size, sequence_length)的torch.FloatTensor，可选) — 掩码，用于指示每个边界框的第一个标记。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- token_type_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 分段标记索引，用于指示输入的第一个和第二个部分。索引选自[0, 1]：- 0 对应于句子 A 标记，
- 1 对应于句子 B 标记。
- position_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 位置嵌入中每个输入序列标记位置的索引。选自范围[0, config.n_positions - 1]。 - head_mask (形状为
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可选) — 掩码，用于使自注意力模块的选定头部无效。掩码值选自[0, 1]：- 1 表示头部未被遮盖，
- 0 表示头部被遮盖。
- inputs_embeds (形状为
(batch_size, sequence_length, hidden_size)的torch.Tensor，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。如果您希望对如何将input_ids索引转换为关联向量拥有比模型内部嵌入查找矩阵更多的控制权，则此功能很有用。 - labels (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 用于计算掩码语言建模损失的标签。索引应在[0, ..., config.vocab_size]或 -100 之间（参见input_ids文档字符串）。索引设置为-100的标记将被忽略（掩码），损失仅针对标签在[0, ..., config.vocab_size]中的标记计算。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置 (BrosConfig) 和输入的不同元素。
-
loss (形状为
(1,)的torch.FloatTensor，可选，当提供labels时返回) — 分类损失。 -
logits (形状为
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 分类分数（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（如果模型有嵌入层，则一个用于嵌入输出，加上每个层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
BrosForTokenClassification 的前向方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在此函数中定义，但此后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)BrosSpadeEEForTokenClassification
class transformers.BrosSpadeEEForTokenClassification
< source >( config )
参数
- config (BrosSpadeEEForTokenClassification) — 包含模型所有参数的模型配置类。用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
Bros 模型顶部带有一个标记分类头（隐藏状态输出顶部的 initial_token_layers 和 subsequent_token_layer），例如用于命名实体识别（NER）任务。initial_token_classifier 用于预测每个实体的第一个标记，而 subsequent_token_classifier 用于预测实体内的后续标记。与 BrosForTokenClassification 相比，该模型对序列化错误更健壮，因为它从一个标记预测下一个标记。
此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None bbox_first_token_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None initial_token_labels: typing.Optional[torch.Tensor] = None subsequent_token_labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.bros.modeling_bros.BrosSpadeOutput 或 tuple(torch.FloatTensor)
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (形状为 ‘(batch_size, num_boxes, 4)’ 的
'torch.FloatTensor') — 输入序列中每个标记的边界框坐标。每个边界框是四个值（x1, y1, x2, y2）的列表，其中 (x1, y1) 是左上角，(x2, y2) 是边界框的右下角。 - attention_mask (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 掩码，用于避免对填充标记索引执行注意力。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- bbox_first_token_mask (形状为
(batch_size, sequence_length)的torch.FloatTensor，可选) — 掩码，用于指示每个边界框的第一个标记。掩码值选自[0, 1]：- 1 表示未被遮盖的标记，
- 0 表示被遮盖的标记。
- token_type_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 分段标记索引，用于指示输入的第一个和第二个部分。索引选自[0, 1]：- 0 对应于句子 A 标记，
- 1 对应于句子 B 标记。
- position_ids (形状为
(batch_size, sequence_length)的torch.Tensor，可选) — 位置嵌入中每个输入序列标记位置的索引。选自范围[0, config.n_positions - 1]。 - head_mask (形状为
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可选) — 掩码，用于使自注意力模块的选定头部无效。掩码值选自[0, 1]：- 1 表示头部未被遮盖，
- 0 表示头部被遮盖。
- inputs_embeds (形状为
(batch_size, sequence_length, hidden_size)的torch.Tensor，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。如果您希望对如何将input_ids索引转换为关联向量拥有比模型内部嵌入查找矩阵更多的控制权，则此功能很有用。 - initial_token_labels (形状为
(batch_size, sequence_length)的torch.LongTensor，可选) — 初始标记分类的标签。 - subsequent_token_labels (形状为
(batch_size, sequence_length)的torch.LongTensor，可选) — 后续标记分类的标签。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, optional) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.models.bros.modeling_bros.BrosSpadeOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.bros.modeling_bros.BrosSpadeOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置（BrosConfig）和输入的不同元素。
-
loss (形状为
(1,)的torch.FloatTensor，可选，当提供labels时返回) — 分类损失。 -
initial_token_logits (形状为
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 实体初始令牌的分类分数（SoftMax 之前）。 -
subsequent_token_logits (形状为
(batch_size, sequence_length, sequence_length+1)的torch.FloatTensor) — 实体序列令牌的分类分数（SoftMax 之前）。 -
hidden_states (
tuple[torch.FloatTensor], 可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（如果模型有嵌入层，则其中一个用于嵌入输出，加上每个层的输出）形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple[torch.FloatTensor], 可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor的元组（每个层一个）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
BrosSpadeEEForTokenClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在此函数中定义，但此后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosSpadeEEForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosSpadeEEForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)BrosSpadeELForTokenClassification
class transformers.BrosSpadeELForTokenClassification
< source >( config )
参数
- config (BrosSpadeELForTokenClassification) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查阅 from_pretrained() 方法以加载模型权重。
Bros 模型，顶部带有一个令牌分类头（在隐藏状态输出之上有一个 entity_linker 层），例如用于实体链接。entity_linker 用于预测实体内部链接（一个实体到另一个实体）。
此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None bbox_first_token_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.Tensor, 可选) — 词汇表中输入序列令牌的索引。默认情况下会忽略填充。可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- bbox (形状为 ‘(batch_size, num_boxes, 4)’ 的 ‘torch.FloatTensor’) — 输入序列中每个令牌的边界框坐标。每个边界框是一个包含四个值 (x1, y1, x2, y2) 的列表，其中 (x1, y1) 是边界框的左上角，(x2, y2) 是边界框的右下角。
- attention_mask (形状为
(batch_size, sequence_length)的torch.Tensor, 可选) — 用于避免对填充令牌索引执行注意力的掩码。掩码值在[0, 1]中选择：- 1 表示未被掩码的令牌，
- 0 表示被掩码的令牌。
- bbox_first_token_mask (形状为
(batch_size, sequence_length)的torch.FloatTensor, 可选) — 用于指示每个边界框的第一个令牌的掩码。掩码值在[0, 1]中选择：- 1 表示未被掩码的令牌，
- 0 表示被掩码的令牌。
- token_type_ids (形状为
(batch_size, sequence_length)的torch.Tensor, 可选) — 分段令牌索引，用于指示输入的第一个和第二个部分。索引在[0, 1]中选择：- 0 对应于 句子 A 令牌，
- 1 对应于 句子 B 令牌。
- position_ids (形状为
(batch_size, sequence_length)的torch.Tensor, 可选) — 每个输入序列令牌在位置嵌入中的位置索引。在[0, config.n_positions - 1]范围内选择。 - head_mask (形状为
(num_heads,)或(num_layers, num_heads)的torch.Tensor, 可选) — 用于使自注意力模块的选定头部无效的掩码。掩码值在[0, 1]中选择：- 1 表示头部未被掩码，
- 0 表示头部被掩码。
- inputs_embeds (形状为
(batch_size, sequence_length, hidden_size)的torch.Tensor, 可选) — 可选地，你可以直接传递嵌入表示，而不是传递input_ids。如果你想更精细地控制如何将input_ids索引转换为关联向量，而不是使用模型内部的嵌入查找矩阵，这会很有用。 - labels (形状为
(batch_size, sequence_length)的torch.Tensor, 可选) — 用于计算掩码语言建模损失的标签。索引应在[0, ..., config.vocab_size]或 -100 中（参见input_ids文档字符串）。索引设置为-100的令牌将被忽略（被掩码），损失仅针对标签在[0, ..., config.vocab_size]中的令牌计算。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置 (BrosConfig) 和输入的不同元素。
-
loss (形状为
(1,)的torch.FloatTensor，可选，当提供labels时返回) — 分类损失。 -
logits (形状为
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 分类分数（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（如果模型有嵌入层，则一个用于嵌入输出，加上每个层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
BrosSpadeELForTokenClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在此函数中定义，但此后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例
>>> import torch
>>> from transformers import BrosProcessor, BrosSpadeELForTokenClassification
>>> processor = BrosProcessor.from_pretrained("jinho8345/bros-base-uncased")
>>> model = BrosSpadeELForTokenClassification.from_pretrained("jinho8345/bros-base-uncased")
>>> encoding = processor("Hello, my dog is cute", add_special_tokens=False, return_tensors="pt")
>>> bbox = torch.tensor([[[0, 0, 1, 1]]]).repeat(1, encoding["input_ids"].shape[-1], 1)
>>> encoding["bbox"] = bbox
>>> outputs = model(**encoding)