参数

• conversation (Union[List[Dict[str, str]], List[List[Dict[str, str]]]]) — 包含“role”和“content”键的字典列表，表示到目前为止的聊天记录。
• tools (List[Union[Dict, Callable]], 可选) — 可供模型访问的工具（可调用函数）列表。如果模板不支持函数调用，则此参数无效。每个工具都应作为 JSON Schema 传入，提供工具的名称、描述和参数类型。有关更多信息，请参阅我们的 聊天模板指南。
• add_generation_prompt (bool, 可选) — 对于 MistralCommonBackend，此参数无效。但是，它不能与 continue_final_message 同时使用以保持 API 一致性。如果任何对话以助手消息结尾，它将引发错误。在这种情况下，请改用 continue_final_message。
• continue_final_message (bool, optional) — 如果设置了此参数，聊天将以开放式格式化，即聊天中的最后一条消息不包含任何 EOS 令牌。模型将继续此消息而不是开始一条新消息。这允许您为模型“预填充”部分响应。不能与 add_generation_prompt 同时使用。
• tokenize (bool, defaults to True) — 是否对输出进行分词。如果为 False，则输出将为字符串。
• padding (bool, str or PaddingStrategy, optional, defaults to False) — 选择一种策略来填充返回的序列（根据模型的填充方向和填充索引），包括：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出包含不同长度序列的批次）。
• truncation (bool, defaults to False) — 是否在达到最大长度时截断序列。如果 tokenize 为 False，则无效。
• max_length (int, optional) — 用于填充或截断的最大长度（以 token 为单位）。如果 tokenize 为 False，则无效。如果未指定，将使用分词器的 max_length 属性作为默认值。
• return_tensors (str or TensorType, optional) — 如果设置，将返回特定框架的张量。如果 tokenize 为 False，则无效。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
• return_dict (bool, defaults to False) — 是否返回包含命名输出的字典。如果 tokenize 为 False，则无效。如果至少一个对话包含图像，其像素值将以 pixel_values 键返回。
• kwargs (附加关键字参数, optional) — MistralCommonBackend.apply_chat_template 不支持。如果使用，将引发错误。

已分词的聊天内容，包括控制 token。此输出已准备好直接传递给模型，或通过 generate() 等方法传递。

参数

• sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor]) — tokenized 输入 ID 列表。可以通过 __call__ 方法获取。
• skip_special_tokens (bool, optional, defaults to False) — 解码时是否删除特殊 token。
• clean_up_tokenization_spaces (bool, optional) — 是否清理 tokenization 空间。如果为 None，将默认为 self.clean_up_tokenization_spaces。
• kwargs (附加关键字参数, optional) — MistralCommonBackend.batch_decode 不支持。如果使用，将引发错误。

解码后的句子列表。

参数

• token_ids_0 (list[int]) — 将添加特殊 token 的 ID 列表。
• token_ids_1 (None, optional) — None，保留以匹配 Transformers 的签名。

包含特殊标记的输入 ID 列表。

参数

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (None, optional) — None，保留以匹配 Transformers 的签名。

根据配置的模式生成 token 类型 ID。

参数

• token_ids (Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]) — 单个序列或批次（序列列表）的 tokenized 输入 ID。可以通过 __call__ 方法获取。
• skip_special_tokens (bool, optional, defaults to False) — 解码时是否删除特殊 token。
• clean_up_tokenization_spaces (bool, optional) — 是否清理 tokenization 空间。如果为 None，将默认为 self.clean_up_tokenization_spaces。
• kwargs (附加关键字参数, optional) — MistralCommonBackend.decode 不支持。如果使用，将引发错误。

单个序列的解码字符串，或序列批次的解码字符串列表。

参数

• text (str or list[int]) — 要编码的第一个序列。可以是字符串或整数列表（tokenized 字符串 ID）。
• text_pair (None, optional) — MistralCommonBackend.encode 不支持。保留以匹配 PreTrainedTokenizerBase.encode 签名。
• add_special_tokens (bool, optional, defaults to True) — 编码序列时是否添加特殊 token。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些 token 会自动添加到输入 ID 中。如果您想自动添加 bos 或 eos token，这非常有用。当分词器以 finetuning 模式加载时，它会添加 bos 和 eos。否则，在 “test” 模式下，它只添加 bos。
• padding (bool, str or PaddingStrategy, optional, defaults to False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出包含不同长度序列的批次）。
• truncation (bool, str or TruncationStrategy, optional, defaults to False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, optional) — 控制截断/填充参数使用的最大长度（以 token 为单位）。

  如果未设置或设置为 None，并且截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则截断/填充到最大长度将被禁用。

• stride (int, optional, defaults to 0) — 如果设置为一个数字且同时设置了 max_length，则当 return_overflowing_tokens=True 时，返回的溢出 token 将包含截断序列末尾的一些 token，以便在截断序列和溢出序列之间提供重叠。此参数的值定义了重叠 token 的数量。
• pad_to_multiple_of (int, optional) — 如果设置，将序列填充到给定值的倍数。要求激活 padding。这对于在计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Core 特别有用。
• padding_side (str, optional) — 模型应在哪个方向应用填充。应在 ['right', 'left'] 中选择。默认值取自分词器类的同名属性。
• return_tensors (str or TensorType, optional) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
• **kwargs — MistralCommonBackend.encode 不支持。如果使用，将引发错误。

文本的 tokenized ID。

参数

• pretrained_model_name_or_path (str or os.PathLike) — 可以是以下之一：
  • 一个字符串，即托管在 huggingface.co 上模型仓库中的预定义分词器的模型 ID。
  • 一个目录的路径，包含分词器配置，例如使用 MistralCommonBackend.tokenization_mistral_common.save_pretrained 方法保存的目录，例如 ./my_model_directory/。
• mode (Union[str, ValidationMode], optional, defaults to ValidationMode.test) — MistralTokenizer 分词器的验证模式。可能的值为：
  • "finetuning" 或 ValidationMode.finetuning：微调模式。
  • "test" 或 ValidationMode.test：测试模式。它会改变分词器验证输入和准备模型请求的方式。
• cache_dir (str or os.PathLike, optional) — 下载的预定义分词器词汇表文件应缓存的目录路径，如果不使用标准缓存。
• force_download (bool, optional, defaults to False) — 是否强制（重新）下载词汇表文件并覆盖已缓存的版本（如果存在）。
• token (str or bool, optional) — 用于远程文件的 HTTP bearer 授权 token。如果为 True，将使用运行 hf auth login 时生成的 token（存储在 ~/.huggingface 中）。
• local_files_only (bool, optional, defaults to False) — 是否只依赖本地文件，不尝试下载任何文件。
• revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们使用基于 git 的系统在 huggingface.co 上存储模型和其他工件，因此 revision 可以是 git 允许的任何标识符。
• max_length (int, optional) — 控制截断/填充参数使用的最大长度（以 token 为单位）。

  如果未设置或设置为 None，并且截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则截断/填充到最大长度将被禁用。

• padding_side (str, optional, defaults to "left") — 模型应在哪个方向应用填充。应在 ['right', 'left'] 中选择。默认值取自分词器类的同名属性。
• truncation_side (str, optional, defaults to "right") — 模型应在哪个方向应用截断。应在 ['right', 'left'] 中选择。
• model_input_names (List[str], optional) — 模型前向传播接受的输入列表（例如 "token_type_ids" 或 "attention_mask"）。默认值取自分词器类的同名属性。
• clean_up_tokenization_spaces (bool, optional, defaults to False) — 模型是否应该清理在 tokenization 过程中拆分输入文本时添加的空格。
• kwargs (附加关键字参数, optional) — MistralCommonBackend.from_pretrained 不支持。如果使用，将引发错误。

参数

• token_ids_0 (list[int]) — 序列的 ID 列表。
• token_ids_1 (None, optional) — None，保留以匹配 Transformers 的实现。
• already_has_special_tokens (bool, optional, defaults to False) — token 列表是否已使用模型的特殊 token 格式化。

特殊令牌为 1，序列令牌为 0。

词汇表。

参数

• pair (Literal[False], optional) — False, 保留以匹配 Transformer 的签名。

添加到序列中的特殊标记数量。

参数

• ids (list[int]) — 第一个序列的分词输入 ID。
• pair_ids (None, optional) — MistralCommonBackend 不支持。保留以匹配 PreTrainedTokenizerBase 接口。
• add_special_tokens (bool, optional, defaults to True) — 对序列进行编码时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID中。如果您想自动添加 bos 或 eos 标记，这将非常有用。当 Tokenizer 以 finetuning 模式加载时，它会同时添加 bos 和 eos。否则，对于“test”模式，它只添加 bos。
• padding (bool, str or PaddingStrategy, optional, defaults to False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果只提供一个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
  • False 或 'do_not_pad' (默认)：不填充（即，可以输出长度不同的序列批次）。
• truncation (bool, str or TruncationStrategy, optional, defaults to False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。
  • False 或 'do_not_truncate' (默认)：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, optional) — 控制截断/填充参数使用的最大长度。

  如果未设置或设置为 None，并且截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则截断/填充到最大长度将被禁用。

• stride (int, optional, defaults to 0) — 如果设置为一个数字且同时设置了 max_length，则当 return_overflowing_tokens=True 时返回的溢出标记将包含来自返回的截断序列末尾的一些标记，以提供截断序列和溢出序列之间的一些重叠。此参数的值定义了重叠标记的数量。
• pad_to_multiple_of (int, optional) — 如果设置，将序列填充到给定值的倍数。需要激活 padding。这对于启用计算能力 >= 7.5（Volta）的 NVIDIA 硬件上的 Tensor Core 特别有用。
• padding_side (str, optional) — 模型应在哪个方向应用填充。应在 ['right', 'left'] 之间选择。默认值取自同名类属性。
• return_tensors (str or TensorType, optional) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
• return_token_type_ids (bool, optional) — 是否返回标记类型 ID。对于 MistralCommonBackend，它返回一个序列长度的零列表，因为只支持一个序列。

  什么是标记类型 ID？

• return_attention_mask (bool, optional) — 是否返回注意力掩码。如果保留为默认值，将根据特定分词器的默认设置（由 return_outputs 属性定义）返回注意力掩码。

  什么是注意力掩码？

• return_overflowing_tokens (bool, optional, defaults to False) — 是否返回溢出标记序列。如果提供了一对输入 ID 序列（或一对批次），并且 truncation_strategy = longest_first 或 True，则会引发错误，而不是返回溢出标记。
• return_special_tokens_mask (bool, optional, defaults to False) — 是否返回特殊标记掩码信息。
• return_length (bool, optional, defaults to False) — 是否返回编码输入的长度。
• verbose (bool, optional, defaults to True) — 是否打印更多信息和警告。
• return_offsets_mapping (Literal[False], optional) — False, 保留以匹配 Transformers 的签名。
• split_special_tokens (Literal[False], optional) — False, 保留以匹配 Transformers 的签名。
• **kwargs — 传递给 self.tokenize() 方法

一个 BatchEncoding 对象，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• save_directory (str or os.PathLike) — 存储分词器的目录路径。
• push_to_hub (bool, optional, defaults to False) — 是否在保存后将模型推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到的存储库（默认将为您的命名空间中的 save_directory 名称）。
• token (str or bool, optional, defaults to None) — 用于推送到模型中心的令牌。如果为 True，将使用 HF_TOKEN 环境变量中的令牌。
• commit_message (str, optional) — 推送到中心时使用的提交消息。
• repo_id (str, optional) — 推送到中心的存储库名称。
• private (bool, optional) — 模型存储库是否为私有。
• kwargs (Dict[str, Any], optional) — MistralCommonBackend.save_pretrained 不支持。如果使用，将引发错误。

已保存的文件。

参数

• text (str) — 要编码的序列。
• return_offsets_mapping (Literal[False], optional) — False, 保留以匹配 Transformers 的签名。
• split_special_tokens (Literal[False], optional) — False, 保留以匹配 Transformers 的签名。
• **kwargs (附加关键字参数) — MistralCommonBackend.tokenize 不支持。如果使用，将引发错误。

令牌列表。

参数

• ids (list[int]) — 分词输入 ID。可以通过链接 tokenize 和 convert_tokens_to_ids 方法从字符串获取。
• pair_ids (None, optional) — MistralCommonBackend 不支持。保留以匹配 PreTrainedTokenizerBase.truncate_sequences 的签名。
• num_tokens_to_remove (int, optional, defaults to 0) — 使用截断策略要删除的标记数量。
• truncation_strategy (str or TruncationStrategy, optional, defaults to 'longest_first') — 截断遵循的策略。可以是：
  • 'longest_first'：截断到由参数 max_length 指定的最大长度，如果未提供该参数，则截断到模型可接受的最大输入长度。
  • 'do_not_truncate' (默认)：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• stride (int, optional, defaults to 0) — 如果设置为正数，则返回的溢出标记将包含来自主序列的一些标记。此参数的值定义了额外标记的数量。

截断后的 ids 和溢出标记列表。None 返回以匹配 Transformers 的签名。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下，将忽略填充（padding）。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中:
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 输入序列中每个标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括在解码前一阶段由模型返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  只允许 Cache 实例作为输入，请参阅我们的 kv cache guide。如果未传递 past_key_values，则默认初始化 DynamicCache。

  模型将输出与作为输入馈入的缓存格式相同的缓存格式。

  如果使用了 past_key_values，则用户应仅输入形状为 (batch_size, unprocessed_length) 的未处理 input_ids（即没有向此模型提供过去键值状态的标记），而不是所有形状为 (batch_size, sequence_length) 的 input_ids。

• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，你可以选择直接传递嵌入表示，而不是传递 input_ids。如果你希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• cache_position (形状为 (sequence_length) 的 torch.LongTensor, 可选) — 描述输入序列标记在序列中位置的索引。与 position_ids 不同，此张量不受填充影响。它用于在正确位置更新缓存并推断完整的序列长度。

一个 transformers.modeling_outputs.BaseModelOutputWithPast 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置 (MistralConfig) 和输入的不同元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

  如果使用了 past_key_values，则只输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。

• past_key_values (Cache, optional, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 它是 Cache 实例。更多详情，请参阅我们的 kv cache 指南。

  Contains pre-computed hidden-states (key and values in the self-attention blocks and optionally if config.is_encoder_decoder=True in the cross-attention blocks) that can be used (see past_key_values input) to speed up sequential decoding.

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下，将忽略填充（padding）。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中:
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 输入序列中每个标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括在解码前一阶段由模型返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  只允许 Cache 实例作为输入，请参阅我们的 kv cache guide。如果未传递 past_key_values，则默认初始化 DynamicCache。

  模型将输出与作为输入馈入的缓存格式相同的缓存格式。

  如果使用了 past_key_values，则用户应仅输入形状为 (batch_size, unprocessed_length) 的未处理 input_ids（即没有向此模型提供过去键值状态的标记），而不是所有形状为 (batch_size, sequence_length) 的 input_ids。

• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，你可以选择直接传递嵌入表示，而不是传递 input_ids。如果你希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 范围内或为 -100（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），仅对标签在 [0, ..., config.vocab_size] 范围内的标记计算损失。
• use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• cache_position (形状为 (sequence_length) 的 torch.LongTensor, 可选) — 描述输入序列标记在序列中位置的索引。与 position_ids 不同，此张量不受填充影响。它用于在正确位置更新缓存并推断完整的序列长度。
• logits_to_keep (Union[int, torch.Tensor], 可选, defaults to 0) — 如果是一个 int，则计算最后 logits_to_keep 个标记的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。生成时只需要最后一个标记的 logits，只计算该标记的 logits 可以节省内存，这对于长序列或大词汇表大小非常重要。如果是一个 torch.Tensor，则必须是 1D 张量，对应于在序列长度维度中要保留的索引。这在使用打包张量格式（批次和序列长度为单维度）时很有用。

一个 transformers.modeling_outputs.CausalLMOutputWithPast 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置 (MistralConfig) 和输入的不同元素。

• loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

• past_key_values (Cache, optional, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 它是 Cache 实例。更多详情，请参阅我们的 kv cache 指南。

  包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下，将忽略填充（padding）。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中:
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 输入序列中每个标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括在解码前一阶段由模型返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  只允许 Cache 实例作为输入，请参阅我们的 kv cache guide。如果未传递 past_key_values，则默认初始化 DynamicCache。

  模型将输出与作为输入馈入的缓存格式相同的缓存格式。

  如果使用了 past_key_values，则用户应仅输入形状为 (batch_size, unprocessed_length) 的未处理 input_ids（即没有向此模型提供过去键值状态的标记），而不是所有形状为 (batch_size, sequence_length) 的 input_ids。

• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，你可以选择直接传递嵌入表示，而不是传递 input_ids。如果你希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 范围内或为 -100（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），仅对标签在 [0, ..., config.vocab_size] 范围内的标记计算损失。
• use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

A transformers.modeling_outputs.SequenceClassifierOutputWithPast or a tuple of torch.FloatTensor (if return_dict=False is passed or when config.return_dict=False) comprising various elements depending on the configuration (None) and inputs.

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• past_key_values (Cache, optional, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 它是 Cache 实例。更多详情，请参阅我们的 kv cache 指南。

  包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下，将忽略填充（padding）。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中:
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 输入序列中每个标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括在解码前一阶段由模型返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  只允许 Cache 实例作为输入，请参阅我们的 kv cache guide。如果未传递 past_key_values，则默认初始化 DynamicCache。

  模型将输出与作为输入馈入的缓存格式相同的缓存格式。

  如果使用了 past_key_values，则用户应仅输入形状为 (batch_size, unprocessed_length) 的未处理 input_ids（即没有向此模型提供过去键值状态的标记），而不是所有形状为 (batch_size, sequence_length) 的 input_ids。

• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，你可以选择直接传递嵌入表示，而不是传递 input_ids。如果你希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 范围内或为 -100（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），仅对标签在 [0, ..., config.vocab_size] 范围内的标记计算损失。
• use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

A transformers.modeling_outputs.TokenClassifierOutput or a tuple of torch.FloatTensor (if return_dict=False is passed or when config.return_dict=False) comprising various elements depending on the configuration (None) and inputs.

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失。

• logits (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分类分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于避免在填充 token 索引上执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 输入序列中每个 token 在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, optional) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括在解码的先前阶段由模型返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  仅允许使用 Cache 实例作为输入，请参阅我们的 kv cache 指南。如果未传入 past_key_values，则默认初始化 DynamicCache。

  模型将输出与输入时相同的缓存格式。

  如果使用了 past_key_values，用户应只输入未处理的 input_ids（即未将其过去的键值状态提供给此模型的那些 input_ids），形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的所有 input_ids。

• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这将很有用。
• start_positions (torch.LongTensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注跨度起始位置（索引）的标签。位置被限制在序列长度 (sequence_length) 范围内。序列外的位置不计入损失计算。
• end_positions (torch.LongTensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注跨度结束位置（索引）的标签。位置被限制在序列长度 (sequence_length) 范围内。序列外的位置不计入损失计算。

A transformers.modeling_outputs.QuestionAnsweringModelOutput or a tuple of torch.FloatTensor (if return_dict=False is passed or when config.return_dict=False) comprising various elements depending on the configuration (None) and inputs.

• loss (torch.FloatTensor of shape (1,), 可选, 当提供 labels 时返回) — 总范围提取损失是起始位置和结束位置的交叉熵之和。

• start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围起始分数（SoftMax 之前）。

• end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围结束分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。