控制输出长度的参数

• max_length (int, 可选, 默认为 20) — 生成的令牌可以具有的最大长度。对应于输入提示的长度 + max_new_tokens。如果也设置了 max_new_tokens，则其效果将被覆盖。
• max_new_tokens (int, 可选) — 要生成的最大令牌数，忽略提示中的令牌数。
• min_length (int, 可选, 默认为 0) — 要生成的序列的最小长度。对应于输入提示的长度 + min_new_tokens。如果也设置了 min_new_tokens，则其效果将被覆盖。
• min_new_tokens (int, 可选) — 要生成的最小令牌数，忽略提示中的令牌数。
• early_stopping (bool 或 str, 可选, 默认为 False) — 控制基于束搜索的方法（如束搜索）的停止条件。它接受以下值：True，其中生成在有 num_beams 个完整候选时立即停止；False，其中应用启发式方法，并且当不太可能找到更好的候选时生成停止；"never"，其中束搜索过程仅在无法找到更好的候选时停止（规范束搜索算法）。
• max_time (float, 可选) — 您允许计算运行的最长时间（以秒为单位）。即使超过分配的时间，生成仍将完成当前pass。
• stop_strings (str 或 List[str], 可选) — 如果模型输出字符串或字符串列表，则应终止生成。

控制所用生成策略的参数

• do_sample (bool, 可选, 默认为 False) — 是否使用采样；否则使用贪婪解码。
• num_beams (int, 可选, 默认为 1) — 用于束搜索的束数量。1 表示不进行束搜索。
• num_beam_groups (int, 可选, 默认为 1) — 将 num_beams 分成组的数量，以确保不同束组之间的多样性。本文 以了解更多详情。
• penalty_alpha (float, 可选) — 这些值平衡了对比搜索解码中的模型置信度和退化惩罚。
• dola_layers (str 或 List[int], 可选) — 用于 DoLa 解码的层。如果为 None，则不使用 DoLa 解码。如果是字符串，则必须是 “low” 或 “high” 之一，分别表示使用模型层的较低部分或较高部分。“low” 表示前一半层，最多前 20 层，“high” 表示后一半层，最多后 20 层。如果是整数列表，则必须包含要在 DoLa 中用作候选过早层的层的索引。第 0 层是模型的词嵌入层。设置为 'low' 以改善长答案推理任务，'high' 以改善短答案任务。查看 文档 或 论文 以了解更多详情。

控制缓存的参数

• use_cache (bool, 可选, 默认为 True) — 模型是否应使用过去的最后一次键/值注意力（如果适用于模型）以加速解码。
• cache_implementation (str, 可选, 默认为 None) — 将在 generate 中实例化的缓存类的名称，用于更快的解码。可能的值为：
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded_static": OffloadedStaticCache
  • "sliding_window": SlidingWindowCache
  • "hybrid": HybridCache
  • "mamba": MambaCache
  • "quantized": QuantizedCache

  如果未指定任何内容，我们将使用模型的默认缓存（通常是 DynamicCache）。请参阅我们的 缓存文档 以获取更多信息。

• cache_config (CacheConfig 或 dict, 可选, 默认为 None) — 键值缓存类中使用的参数可以在 cache_config 中传递。可以作为 Dict 传递，它将在内部转换为其相应的 CacheConfig。否则，可以作为与指示的 cache_implementation 匹配的 CacheConfig 类传递。
• return_legacy_cache (bool, 可选, 默认为 True) — 当默认使用 DynamicCache 时，是否返回旧版或新版缓存格式。

用于操作模型输出 logits 的参数

• temperature (float, 可选，默认为 1.0) — 用于调整下一个 token 概率的值。此值在模型的 generation_config.json 文件中设置。如果未设置，则默认值为 1.0。
• top_k (int, 可选，默认为 50) — 用于 top-k 过滤的最高概率词汇 tokens 的数量。此值在模型的 generation_config.json 文件中设置。如果未设置，则默认值为 50。
• top_p (float, 可选，默认为 1.0) — 如果设置为小于 1 的浮点数，则仅保留概率总和达到 top_p 或更高的最小概率 tokens 集合用于生成。此值在模型的 generation_config.json 文件中设置。如果未设置，则默认值为 1.0。
• min_p (float, 可选) — 最小 token 概率，它将按最可能 token 的概率进行缩放。它必须是 0 到 1 之间的值。典型值在 0.01-0.2 范围内，与在 0.99-0.8 范围内设置 top_p 具有可比的选择性（使用正常 top_p 值的相反值）。
• typical_p (float, 可选，默认为 1.0) — 局部典型性衡量了预测下一个目标 token 的条件概率与预测下一个随机 token 的预期条件概率（给定已生成的部分文本）的相似程度。如果设置为小于 1 的浮点数，则保留概率总和达到 typical_p 或更高的局部最典型 tokens 的最小集合用于生成。有关更多详细信息，请参见 本文。
• epsilon_cutoff (float, 可选，默认为 0.0) — 如果设置为严格介于 0 和 1 之间的浮点数，则仅采样条件概率大于 epsilon_cutoff 的 tokens。在论文中，建议值范围为 3e-4 到 9e-4，具体取决于模型的大小。有关更多详细信息，请参见 Truncation Sampling as Language Model Desmoothing。
• eta_cutoff (float, 可选，默认为 0.0) — Eta 采样是局部典型性采样和 epsilon 采样的混合。如果设置为严格介于 0 和 1 之间的浮点数，则仅当 token 大于 eta_cutoff 或 sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))) 时才考虑该 token。后一个术语直观上是预期的下一个 token 概率，按 sqrt(eta_cutoff) 缩放。在论文中，建议值范围为 3e-4 到 2e-3，具体取决于模型的大小。有关更多详细信息，请参见 Truncation Sampling as Language Model Desmoothing。
• diversity_penalty (float, 可选，默认为 0.0) — 如果 beam 在特定时间生成与来自其他组的任何 beam 相同的 token，则从该 beam 的得分中减去此值。请注意，仅当启用 group beam search 时，diversity_penalty 才有效。
• repetition_penalty (float, 可选，默认为 1.0) — 重复惩罚的参数。1.0 表示没有惩罚。有关更多详细信息，请参见 本文。
• encoder_repetition_penalty (float, 可选，默认为 1.0) — encoder_repetition_penalty 的参数。对不在原始输入中的序列进行指数惩罚。1.0 表示没有惩罚。
• length_penalty (float, 可选，默认为 1.0) — 用于基于 beam 生成的长度指数惩罚。它作为指数应用于序列长度，而序列长度又用于除以序列的分数。由于分数是序列的对数似然（即负数），因此 length_penalty > 0.0 鼓励更长的序列，而 length_penalty < 0.0 鼓励更短的序列。
• no_repeat_ngram_size (int, 可选，默认为 0) — 如果设置为大于 0 的整数，则该大小的所有 n-gram 只能出现一次。
• bad_words_ids (List[List[int]], 可选) — 不允许生成的 token id 列表的列表。有关更多文档和示例，请查看 NoBadWordsLogitsProcessor。
• force_words_ids (List[List[int]] 或 List[List[List[int]]], 可选) — 必须生成的 token id 列表。如果给定 List[List[int]]，则将其视为必须包含的简单单词列表，与 bad_words_ids 相反。如果给定 List[List[List[int]]]，则会触发 析取约束，其中可以允许每个单词的不同形式。
• renormalize_logits (bool, 可选，默认为 False) — 是否在应用所有 logits 处理器（包括自定义处理器）后重新归一化 logits。强烈建议将此标志设置为 True，因为搜索算法假设得分 logits 是归一化的，但某些 logits 处理器会破坏归一化。
• constraints (List[Constraint], 可选) — 可以添加到生成中的自定义约束，以确保输出将包含由 Constraint 对象定义的某些 token 的使用，以尽可能合理的方式。
• forced_bos_token_id (int, 可选，默认为 model.config.forced_bos_token_id) — 强制作为 decoder_start_token_id 之后生成的第一个 token 的 token id。对于多语言模型（如 mBART）非常有用，其中生成的第一个 token 需要是目标语言 token。
• forced_eos_token_id (int 或 List[int], *可选*, 默认为 model.config.forced_eos_token_id) -- 强制作为达到 max_length` 时生成的最后一个 token 的 token id。可以选择使用列表来设置多个序列结束 token。
• remove_invalid_values (bool, 可选，默认为 model.config.remove_invalid_values) — 是否删除模型可能存在的 nan 和 inf 输出，以防止生成方法崩溃。请注意，使用 remove_invalid_values 可能会减慢生成速度。
• exponential_decay_length_penalty (tuple(int, float), 可选) — 此元组在生成一定数量的 token 后添加指数增长的长度惩罚。该元组应包含：(start_index, decay_factor)，其中 start_index 指示惩罚开始的位置，decay_factor 表示指数衰减因子
• suppress_tokens (List[int], 可选) — 在生成时将被抑制的 token 列表。SupressTokens logits 处理器将它们的 log probs 设置为 -inf，以便不采样它们。
• begin_suppress_tokens (List[int], 可选) — 在生成开始时将被抑制的 token 列表。SupressBeginTokens logits 处理器将它们的 log probs 设置为 -inf，以便不采样它们。
• forced_decoder_ids (List[List[int]], 可选) — 一个整数对列表，指示从生成索引到将在采样之前强制执行的 token 索引的映射。例如，[[1, 123]] 表示第二个生成的 token 将始终是索引为 123 的 token。
• sequence_bias (Dict[Tuple[int], float], 可选)) — 将 token 序列映射到其偏差项的字典。正偏差会增加选择该序列的几率，而负偏差则相反。有关更多文档和示例，请查看 SequenceBiasLogitsProcessor。
• token_healing (bool, 可选，默认为 False) — 通过将 prompts 的尾部 token 替换为适当的扩展来修复它们。这提高了受贪婪 token 化偏差影响的 prompts 的完成质量。
• guidance_scale (float, 可选) — 用于无分类器引导 (CFG) 的引导缩放。通过设置 guidance_scale > 1 启用 CFG。较高的引导缩放鼓励模型生成与输入 prompt 更紧密相关的样本，但通常以质量较差为代价。
• low_memory (bool, 可选) — 切换到顺序 beam search 和顺序 topk 以进行对比搜索，以减少峰值内存。与 beam search 和对比搜索一起使用。
• watermarking_config (BaseWatermarkingConfig 或 dict, 可选) — 用于为模型输出添加水印的参数，通过向随机选择的“绿色” token 集合添加小的偏差。 有关更多详细信息，请参阅 SynthIDTextWatermarkingConfig 和 WatermarkingConfig 的文档。 如果作为 Dict 传递，它将在内部转换为 WatermarkingConfig。

定义 generate 输出变量的参数

• num_return_sequences (int, 可选, 默认为 1) — 批次中每个元素独立计算的返回序列的数量。
• output_attentions (bool, 可选, 默认为 False) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选, 默认为 False) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• output_scores (bool, 可选, 默认为 False) — 是否返回预测分数。 有关更多详细信息，请参阅返回张量下的 scores。
• output_logits (bool, 可选) — 是否返回未经处理的预测 logits 分数。 有关更多详细信息，请参阅返回张量下的 logits。
• return_dict_in_generate (bool, 可选, 默认为 False) — 是否返回 ModelOutput，而不是仅返回生成的序列。 必须将此标志设置为 True 才能返回生成缓存（当 use_cache 为 True 时）或可选输出（请参阅以 output_ 开头的标志）。

生成时可以使用的特殊 token

• pad_token_id (int, 可选) — 填充 (padding) token 的 id。
• bos_token_id (int, 可选) — beginning-of-sequence (序列开始) token 的 id。
• eos_token_id (Union[int, List[int]], 可选) — end-of-sequence (序列结束) token 的 id。 可选地，使用列表来设置多个 end-of-sequence token。

编码器-解码器模型独有的生成参数

• encoder_no_repeat_ngram_size (int, 可选, 默认为 0) — 如果设置为大于 0 的整数，则在 encoder_input_ids 中出现的所有该大小的 n-gram 都不能在 decoder_input_ids 中出现。
• decoder_start_token_id (int 或 List[int], 可选) — 如果编码器-解码器模型以与 bos 不同的 token 开始解码，则该 token 的 id 或长度为 batch_size 的列表。 指示列表允许批次中每个元素使用不同的起始 id（例如，在一个批次中使用不同目标语言的多语言模型）。

助手生成独有的生成参数

• is_assistant (bool, 可选, 默认为 False) — 模型是否为助手（草稿）模型。
• num_assistant_tokens (int, 可选, 默认为 20) — 定义助手模型在每次迭代中被目标模型检查之前应生成的推测性 token 的数量。 num_assistant_tokens 的值越高，生成就越推测性：如果助手模型性能良好，则可以实现更大的加速；如果助手模型需要大量校正，则加速会降低。
• num_assistant_tokens_schedule (str, 可选, 默认为 "constant") — 定义在推理期间应更改最大助手 token 的计划。
  • "heuristic": 当所有推测性 token 都正确时，将 num_assistant_tokens 增加 2，否则减少 1。 num_assistant_tokens 值在同一助手模型的多个生成调用中保持不变。
  • "heuristic_transient": 与 "heuristic" 相同，但 num_assistant_tokens 在每次生成调用后重置为其初始值。
  • "constant": num_assistant_tokens 在生成期间保持不变
• assistant_confidence_threshold (float, 可选, 默认为 0.4) — 助手模型的置信度阈值。 如果助手模型对其当前 token 预测的置信度低于此阈值，则即使尚未达到推测性 token 的数量（由 num_assistant_tokens 定义），助手模型也会停止当前 token 生成迭代。 助手的置信度阈值在整个推测性迭代中进行调整，以减少不必要的草稿和目标前向传递的次数，并偏向于避免假阴性。 assistant_confidence_threshold 值在同一助手模型的多个生成调用中保持不变。 它是动态推测前瞻的无监督版本，来自 Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://arxiv.org/abs/2405.04304。
• prompt_lookup_num_tokens (int, 可选) — 要作为候选 token 输出的 token 数量。
• max_matching_ngram_size (int, 可选) — 在 prompt 中要考虑匹配的最大 n-gram 大小。 如果未提供，则默认为 2。
• assistant_early_exit(int, 可选) — 如果设置为正整数，则模型的提前退出将用作助手。 只能与支持提前退出的模型一起使用（即，中间层的 logits 可以被 LM 头解释的模型）。
• assistant_lookbehind(int, 可选, 默认为 10) — 如果设置为正整数，则重新编码过程将额外考虑最后 assistant_lookbehind 个助手 token，以正确对齐 token。 只能在推测性解码中使用不同的 tokenizer。 有关更多详细信息，请参阅此博客。
• target_lookbehind(int, 可选, 默认为 10) — 如果设置为正整数，则重新编码过程将额外考虑最后 target_lookbehind 个目标 token，以正确对齐 token。 只能在推测性解码中使用不同的 tokenizer。 有关更多详细信息，请参阅此博客。

与性能和编译相关的参数

• compile_config (CompileConfig, 可选) — 如果使用静态缓存，则此参数控制 generate 如何 compile 前向传递以提高性能。

• • generation_kwargs — Additional generation kwargs will be forwarded to the generate function of the model. Kwargs that are not present in generate’s signature will be used in the model forward pass.