参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor 维度 (batch_size, sequence_length)，可选) — 避免在填充标记索引上执行注意力的掩码。在 [0, 1] 范围内选择的掩码值：
  • 1 对应于 未掩码 的标记，
  • 0 对应于 掩码 的标记。

  什么是注意掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 维度 (batch_size, sequence_length)，可选) — 标记段索引，用于指示输入的第一部分和第二部分。索引在 [0, 1] 范围内选择：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor 维度 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选） — 用于使自我注意力模块中的选定头失效的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被 掩码，
  • 0 表示头被 掩码。
• inputs_embeds (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)，可选） — 可以直接传递嵌入表示，而不是传递 input_ids。如果您想比模型内部嵌入查找矩阵有更多控制权地将 input_ids 索引转换为关联向量，这很有用。
• output_attentions (bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• encoder_hidden_states （tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)，可选） — 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则用于交叉注意力。
• encoder_attention_mask （tf.Tensor 形状为 (batch_size, sequence_length)，可选） — 避免对编码器输入中填充标记索引执行注意力的掩码。如果模型配置为解码器，则用于交叉注意力。掩码值选择在 [0, 1] 之间：
  • 1 代表 未掩码 的标记，
  • 0 代表 掩码 的标记。
• past_key_values （长度为 config.n_layers 的 Tuple[Tuple[tf.Tensor]]） — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。如果使用 past_key_values，则用户可以输入最后一个 decoder_input_ids（那些没有给这个模型提供过去键值状态的）的形状为 (batch_size, 1)，而不是所有 decoder_input_ids 的形状为 (batch_size, sequence_length)。
• use_cache (bool, 可选, 默认为 True) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参看 past_key_values）。训练期间设置为 False，生成期间设置为 True。

A transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndCrossAttentions 或一个包含 tf.Tensor 元组的元组（如果传入 return_dict=False 或 config.return_dict=False 时），这些元素根据配置（BertConfig）和输入而变化。

• last_hidden_state (tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 (batch_size, hidden_size)) — 序列中第一个标记（分类标记）的最后一层隐藏状态进一步通过线性层和 Tanh 激活函数处理后得到的输出。线性层的权重在预训练时是从下一个句子预测（分类）目标训练得出的。

  此输出通常 不一定 是输入语义内容的良好总结；通常胜过整个输入序列隐藏状态的平均值或池化。

• past_key_values (List[tf.Tensor]，可选，当传递 use_cache=True 时返回或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tf.Tensor 列表，每个张量形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的隐藏状态（注意力块中的键和值），可以使用（请参阅past_key_values输入）来加速顺序解码。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。

• cross_attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，经过注意力 softmax 后，在交叉注意力头部计算加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。详见PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode() 的详细信息。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选项) — 用于避免对填充标记索引执行注意力的掩码。选择的掩码值在 [0, 1] 范围内：
  • 1 代表未被掩码的标记，
  • 0 代表被掩码的标记。

  什么是注意力掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选项) — 段标记索引用于指示输入的第一部分和第二部分。索引选择为 [0, 1]：
  • 0 对应于 段落 A 标记，
  • 1 对应于 段落 B 标记。

  什么是标记类型ID？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列 token 在位置嵌入中的位置索引。选择的范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于禁用自注意力模块中选择头部的掩码。掩码值选择在 [0, 1]：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• inputs_embeds (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可以选择直接传递嵌入表示，而不是传递 input_ids。这对于您希望在将 input_ids 索引转换为相关向量时比模型内部的嵌入查找矩阵有更多控制时很有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回的张量中的 attentions，了解更多细节。此参数只能在 Eager 模式下使用，在 Graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回的张量中的 hidden_states，了解更多细节。此参数只能在 Eager 模式下使用，在 Graph 模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。此参数可以在 Eager 模式下使用，在 Graph 模式下默认为 True。
• training (bool, 可选, 默认为 `False`) — 是否使用模型进行训练模式（一些模块如dropout模块在不同的训练和评估模式下的行为不同）。
• labels (tf.Tensor 形状 (batch_size, sequence_length), 可选) — 用于计算掩码语言建模损失的标签。索引应位于 [-100, 0, ..., config.vocab_size]（参见 input_ids 的文档字符串），设置为 -100 的索引将被忽略（掩码），损失仅针对 [0, ..., config.vocab_size] 中的标签的令牌计算
• next_sentence_label (tf.Tensor 形状 (batch_size,), 可选) — 用于计算下一个序列预测（分类）损失的标签。输入应为序列对（参见 input_ids 的文档字符串）：索引应在 [0, 1]：
  • 0 表示序列 B 是序列 A 的延续，
  • 1 表示序列 B 是随机序列。
• kwargs (Dict[str, any], 可选, 默认为 {}) — 用于隐藏已弃用的旧参数。

一个 transformers.models.bert.modeling_tf_bert.TFBertForPreTrainingOutput 或 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），它包含各种元素，具体取决于配置（BertConfig）和输入。

• 预测对数 (tf.Tensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言模型头的预测分数（SoftMax之前的每个词汇的分数）。

• 序列关系对数 (tf.Tensor，形状为 (batch_size, 2)) — 下一个序列预测（分类）头的预测分数（SoftMax之前的 True/False 继承的分数）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。

一个 transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions 或 tf.Tensor 的元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（BertConfig）和输入。

• loss（tf.Tensor 形状为 (n,)，可选，其中 n 是非掩码标签的数量，当提供 labels 时返回）—— 语言建模损失（用于预测下一个标记）。

• logits（tf.Tensor 形状为 (batch_size, sequence_length, config.vocab_size)）—— 语言建模头的预测得分（SoftMax 之前的每个词汇的得分）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。

• cross_attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，经过注意力 softmax 后，在交叉注意力头部计算加权平均。

• past_key_values (List[tf.Tensor]，可选，当传递 use_cache=True 时返回或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tf.Tensor 列表，每个张量形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的隐藏状态（注意力块中的键和值），可以使用（请参阅past_key_values输入）来加速顺序解码。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 输入序列标记的词汇表中索引。

  索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选）— 用于防止对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 用于未掩码的标记，
  • 0 用于掩码标记。

  什么是注意力掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选）— 标记段索引以指示输入的第一段和第二段。索引选择在 [0, 1]：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选）— 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• head_mask （np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选） — 用于取消自我注意力模块中选定的头部的掩码。在 [0, 1] 选中掩码值：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• inputs_embeds （np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选） — 可以选择直接传入嵌入表示，而不是传递 input_ids。当你想要比模型的内部嵌入查找矩阵有更多控制时，这很有用。
• output_attentions （bool，可选） — 是否返回所有注意力层的注意力张量。详细信息请参阅返回的张量中的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。关于返回张量下的hidden_states，请参阅更多详情。此参数仅在急切模式中使用，在图模式中，将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个ModelOutput，而不是一个普通的元组。此参数可在急切模式中使用，在图模式中，值将始终设置为True。
• training (bool, 可选，默认为`False`) — 是否以训练模式使用模型（一些模块，如dropout模块，在训练和评估之间的行为不同）。
• labels (tf.Tensor 或 np.ndarray 形状 (batch_size, sequence_length)，可选 ) — 用于计算掩码语言模型损失的标签。索引应在 [-100, 0, ..., config.vocab_size]（见 input_ids 的文档字符串）范围内，使用索引为 -100 的标记将被忽略（掩码），损失仅对具有 [0, ..., config.vocab_size] 范围内标签的标记进行计算

A transformers.modeling_tf_outputs.TFMaskedLMOutput 或一个 tf.Tensor 的元组（如果传入了 return_dict=False 或当 config.return_dict=False），包含根据配置（BertConfig）和输入的各种元素。

• loss （tf.Tensor，形状 (n,)，可选，其中 n 是非掩码标签的数量，当提供 labels 时返回） — 掩码语言模型 (MLM) 损失。

• logits（tf.Tensor 形状为 (batch_size, sequence_length, config.vocab_size)）—— 语言建模头的预测得分（SoftMax 之前的每个词汇的得分）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 输入序列标记语料库中的索引。

  索引可以通过使用 AutoTokenizer 来获得。请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode() 获取详细信息。

  输入ID是什么？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 避免对填充token索引执行注意力操作的掩码。掩码值选自 [0, 1]：
  • 1 对应未掩码的token，
  • 0 对应掩码的token。

  什么是attention mask？

• token_type_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于指示输入的前后部分的段token索引。索引选择在 [0, 1]：
  • 0 对应于 句子A 标记，
  • 1 对应于 句子B 标记。

  什么是token type ID？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列token在位置嵌入中的索引。选择区间为 [0, config.max_position_embeddings - 1]。

  什么是position ID？

• head_mask（《numpy数组》（np.ndarray）或tf.Tensor类型，形状为(num_heads,)或(num_layers, num_heads)，可选）——用于取消自我注意力模块中选定头部的掩码。掩码值在[0, 1]中选取：
  • 1 表示头部 未被掩码，
  • 0 表示头部 被掩码。
• inputs_embeds（《numpy数组》或`tf.Tensor`类型，形状为(batch_size, sequence_length, hidden_size)，可选)——如果要直接传递嵌入表示而非`input_ids`，可选择此选项。当您希望比模型的内部嵌入查找矩阵有更多控制权，将`input_ids`索引转换为相关向量时很有用。
• output_attentions（bool类型，可选）——是否返回所有注意力层的张量。有关详细信息，请参阅返回张量中的attentions。此参数只能在eager模式下使用，在graph模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而非普通元组。此参数可以在 eager 模式下使用，在 graph 模式下此值将总是设置为 True。
• training (bool, 可选，默认为 `False`“) — 是否以训练模式使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

一个 transformers.modeling_tf_outputs.TFNextSentencePredictorOutput 或一个包含多个元素的 tf.Tensor 元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），具体取决于配置（BertConfig）和输入。

• 损失（《tf.Tensor》，形状为《(n,)》，可选，当提供《code>next_sentence_label时返回），表示下一句预测损失。

• logits（《tf.Tensor》，形状为《(batch_size, 2)》）——下一序列预测（分类）头的预测得分（在SoftMax之前的True/False后续链接的分数）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。

参数

• input_ids (NumPy数组，tf.Tensor，List[tf.Tensor] 或 Dict[str, tf.Tensor] 以及 Dict[str, np.ndarray]，每个样本必须具有形状 (批次大小，序列长度)) — 词汇表中的输入序列标记的索引。

  索引可以通过使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (NumPy数组或tf.Tensor，形状为(批次大小，序列长度)，可选) — 避免在填充令牌索引上执行注意力的掩码。选用[0, 1]中的掩码值：
  • 1 表示未掩码的令牌，
  • 0 表示已掩码的令牌。

  什么是注意力掩码？

• token_type_ids (NumPy数组或tf.Tensor，形状为(批次大小，序列长度)，可选) — 段落令牌索引以指示输入的第一和第二部分。选用的索引在[0, 1]中：
  • 0 对应于 句子A 令牌，
  • 1 对应于 句子B 令牌。

  什么是令牌类型ID？

• position_ids (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置编码中的位置索引。选择范围 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• head_mask (np.ndarray 或 tf.Tensor 的形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于取消选定头部的自注意力模块的掩码。掩码值选择范围 [0, 1]：
  • 1 表示头部未掩码（未掩码），
  • 0 表示头部已掩码（掩码）。
• inputs_embeds (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不仅仅是传递 input_ids。这在您想比模型内部嵌入查找矩阵有更多控制权于如何将 input_ids 索引转换为相关向量时非常有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关返回张量下的更多详细信息，请参阅 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量下的更多详细信息，请参阅 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通元组。此参数可以在 eager 模式下使用，在 graph 模式下此值总是设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否使用模型进行训练模式（一些模块如dropout模块在训练和评估时表现不同）。
• labels (tf.Tensor 或 np.ndarray，形状为 (batch_size,)，可选) — 用于计算序列分类/回归损失的标签。索引应位于 [0, ..., config.num_labels - 1]。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

A transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或一个包含 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置和输入包含不同的元素（BertConfig）。

• loss (tf.Tensor 的形状为 (batch_size, )，可选，在提供 labels 时返回) — 分类损失（或如果 config.num_labels==1 则为回归损失）。

• logits (tf.Tensor 的形状为 (batch_size, config.num_labels)) — 分类分数（在 SoftMax 之前）（或如果 config.num_labels==1 则为回归分数）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个层输出来加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) — 元组 tf.Tensor (每层一个) 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 的注意力权重，在自注意力头部计算加权平均。