生成

每个框架都在其各自的 GenerationMixin 类中实现了一个用于文本生成的 generate 方法

PyTorch 的 generate() 是在 GenerationMixin 中实现的。

你可以使用 GenerationConfig 类实例对 generate 方法进行参数化。请参阅该类以获取生成参数的完整列表，这些参数控制生成方法的行为。

要了解如何检查模型的生成配置、默认值是什么、如何即时更改参数以及如何创建并保存自定义生成配置，请参考文本生成策略指南。该指南还解释了如何使用相关功能，例如标记流（token streaming）。

GenerationConfig

class transformers.GenerationConfig

< 源码 >

( **kwargs )

控制输出长度的参数

max_length (int, 可选) — 推荐使用 max_new_tokens 来控制模型生成的标记数量。保留 max_length 是为了向后兼容。
max_new_tokens (int, 可选) — 要生成的最大标记数量，忽略提示词（prompt）中的标记数量。
min_length (int, 可选) — 要生成的序列的最小长度。对应于输入提示词的长度 + min_new_tokens。如果也设置了 min_new_tokens，则其效果将被覆盖。
min_new_tokens (int, 可选) — 要生成的最小标记数量，忽略提示词中的标记数量。
early_stopping (bool 或 str, 可选) — 控制基于束（beam）的方法（如束搜索）的停止条件。它接受以下值：True，一旦有 num_beams 个完整的候选序列，生成就会停止；False，应用启发式方法，当极不可能找到更好的候选序列时停止生成；"never"，束搜索过程只有在不可能有更好的候选序列时才会停止（规范束搜索算法）。
max_time (float, 可选) — 允许计算运行的最长时间（以秒为单位）。在分配的时间过后，生成仍将完成当前的一轮计算。
stop_strings (str 或 list[str], 可选) — 如果模型输出了这些字符串或字符串列表中的内容，则应终止生成。

控制所使用的生成策略的参数

do_sample (bool) — 是否使用采样；否则使用贪婪解码（greedy decoding）。
num_beams (int, 可选) — 束搜索（beam search）的束数。1 表示不进行束搜索。

控制缓存的参数

use_cache (bool) — 模型是否应使用过去的键/值注意力（如果适用于模型）来加速解码。
cache_implementation (str, 可选) — 将在 generate 中实例化的缓存类名称，用于更快的解码。可能的值包括：
- "dynamic": DynamicCache
- "static": StaticCache
- "offloaded": DynamicCache(offloaded=True)
- "offloaded_static": StaticCache(offloaded=True)
- "quantized": QuantizedCache
如果未指定，我们将使用模型的默认缓存（通常是 DynamicCache）。有关更多信息，请参阅我们的缓存文档。
cache_config (dict, 可选, 默认为 None) — 在键值缓存类中使用的参数可以在 cache_config 中传递。

用于操作模型输出 logits 的参数

temperature (float, 可选) — 用于调制下一个标记概率的值。此值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 1.0。
top_k (int, 可选) — top-k 过滤保留的最高概率词汇标记的数量。此值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 50。
top_p (float, 可选) — 如果设置为小于 1 的浮点数，则仅保留概率累计达到 top_p 或更高的最小标记集用于生成。此值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 1.0。
min_p (float, 可选) — 最小标记概率，将按最可能标记的概率进行缩放。它必须是 0 到 1 之间的值。典型值在 0.01-0.2 范围内，其选择性与将 top_p 设置在 0.99-0.8 范围内相当（使用与普通 top_p 相反的值）。
top_h (float, 可选) — 熵预算（entropy budget）缩放因子，控制采样时保留分布中多少熵。必须是 0 到 1 之间的值。在每一步，标记按概率排序，并保留最小的标记前缀，这些标记的重新归一化熵小于或等于 top_h 乘以全分布熵。较小的值（例如 0.2–0.5）会导致更集中、更确定性的输出，而接近 1.0 的值允许更多的随机性和多样性。典型值在 0.3–0.6 范围内。
typical_p (float, 可选) — 局部典型性衡量的是，在给定已生成的部分文本的情况下，预测下一个目标标记的条件概率与预测下一个随机标记的预期条件概率的相似程度。如果设置为小于 1 的浮点数，则仅保留概率累计达到 typical_p 或更高的一组局部最典型标记用于生成。有关更多详细信息，请参见此论文。
epsilon_cutoff (float, 可选) — 如果设置为严格介于 0 和 1 之间的浮点数，则仅对条件概率大于 epsilon_cutoff 的标记进行采样。在论文中，建议值范围为 3e-4 到 9e-4，具体取决于模型的大小。有关更多详细信息，请参见 Truncation Sampling as Language Model Desmoothing。
eta_cutoff (float, 可选) — Eta 采样是局部典型采样和 epsilon 采样的混合体。如果设置为严格介于 0 和 1 之间的浮点数，则仅当标记大于 eta_cutoff 或 sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))) 时才考虑该标记。后一项直观上是预期的下一个标记概率，由 sqrt(eta_cutoff) 缩放。在论文中，建议值范围为 3e-4 到 2e-3，具体取决于模型的大小。有关更多详细信息，请参见 Truncation Sampling as Language Model Desmoothing。
repetition_penalty (float, 可选) — 重复惩罚参数。1.0 表示没有惩罚。有关更多详细信息，请参见此论文。
encoder_repetition_penalty (float, 可选) — encoder_repetition_penalty 参数。对不在原始输入中的序列进行指数惩罚。1.0 表示没有惩罚。
length_penalty (float, 可选) — 用于基于束生成的长度指数惩罚。它作为序列长度的指数应用，反过来又用于除以序列的得分。由于得分是序列的对数似然（即负数），length_penalty > 0.0 会促进生成更长的序列，而 length_penalty < 0.0 会鼓励生成更短的序列。
no_repeat_ngram_size (int, 可选) — 如果设置为大于 0 的整数，则该大小的所有 n-gram 只能出现一次。
bad_words_ids (list[list[int]], 可选) — 不允许生成的标记 ID 列表。查看 NoBadWordsLogitsProcessor 获取更多文档和示例。
renormalize_logits (bool) — 在应用所有 logits 处理器（包括自定义处理器）后，是否重新归一化 logits。强烈建议将此标志设置为 True，因为搜索算法假设得分 logits 是归一化的，但某些 logit 处理器会破坏归一化。
forced_bos_token_id (int, 可选, 默认为 model.config.forced_bos_token_id) — 强制作为 decoder_start_token_id 之后生成的第一个标记的 ID。对于像 mBART 这样的多语言模型很有用，其中第一个生成的标记需要是目标语言标记。
forced_eos_token_id (int 或 list[int], 可选, 默认为 model.config.forced_eos_token_id) — 当达到 max_length 时，强制作为最后一个生成的标记的 ID。可选地，使用列表设置多个序列结束标记。
remove_invalid_values (bool) — 是否移除模型可能输出的 nan 和 inf，以防止生成方法崩溃。请注意，使用 remove_invalid_values 可能会减慢生成速度。
exponential_decay_length_penalty (tuple(int, float), 可选) — 此元组在生成一定数量的标记后添加呈指数级增加的长度惩罚。该元组应包含：(start_index, decay_factor)，其中 start_index 指示惩罚开始的位置，decay_factor 表示指数衰减的因子。
suppress_tokens (list[int], 可选) — 生成时将被抑制的标记列表。SuppressTokens logit 处理器会将它们的对数概率设置为 -inf，以便它们不会被采样。
begin_suppress_tokens (list[int], 可选) — 生成开始时将被抑制的标记列表。SuppressBeginTokens logit 处理器会将它们的对数概率设置为 -inf，以便它们不会被采样。
sequence_bias (dict[tuple[int], float], 可选) — 将标记序列映射到其偏置项（bias term）的字典。正偏置会增加选择该序列的几率，而负偏置则相反。查看 SequenceBiasLogitsProcessor 获取更多文档和示例。
token_healing (bool) — 通过将提示词末尾的标记替换为其适当的扩展形式来“修复（Heal）”它们。这增强了受贪婪分词偏置影响的提示词的补全质量。
guidance_scale (float, 可选) — 无分类器引导（CFG）的引导比例。通过设置 guidance_scale > 1 启用 CFG。较高的引导比例会鼓励模型生成与输入提示词联系更紧密的样本，通常以降低质量为代价。
watermarking_config (BaseWatermarkingConfig 或 dict, 可选) — 用于通过为随机选择的“绿色”标记集添加小偏差来对模型输出加水印的参数。有关更多详细信息，请参阅 SynthIDTextWatermarkingConfig 和 WatermarkingConfig 的文档。如果作为 Dict 传递，它将在内部转换为 WatermarkingConfig。

定义 generate 输出变量的参数

num_return_sequences (int, 可选) — batch 中每个元素独立计算并返回的序列数量。
output_attentions (bool) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
output_scores (bool) — 是否返回预测得分。有关更多详细信息，请参阅返回张量下的 scores。
output_logits (bool) — 是否返回未经处理的预测 logit 得分。有关更多详细信息，请参阅返回张量下的 logits。
return_dict_in_generate (bool) — 是否返回 ModelOutput，而不是仅返回生成的序列。要返回生成缓存（当 use_cache 为 True 时）或可选输出（请参见以 output_ 开头的标志），必须将此标志设置为 True。

可在生成时使用的特殊标记

pad_token_id (int, 可选) — 填充（padding）标记的 ID。
bos_token_id (int, 可选) — 序列开始（beginning-of-sequence）标记的 ID。
eos_token_id (Union[int, list[int]], 可选) — 序列结束（end-of-sequence）标记的 ID。可选地，使用列表设置多个序列结束标记。

编码器-解码器模型特有的生成参数

encoder_no_repeat_ngram_size (int, 可选) — 如果设置为大于 0 的整数，则 encoder_input_ids 中出现的所有该大小的 n-gram 都不能在 decoder_input_ids 中出现。
decoder_start_token_id (int 或 list[int], 可选) — 如果编码器-解码器模型以不同于 bos 的标记开始解码，则为该标记的 ID 或长度为 batch_size 的列表。使用列表可以为 batch 中的每个元素指定不同的起始 ID（例如，一个 batch 中具有不同目标语言的多语言模型）。

辅助生成（assistant generation）特有的生成参数

is_assistant (bool) — 模型是否为辅助（草稿）模型。
num_assistant_tokens (int, 可选) — 定义在每次迭代中由目标模型检查之前，由辅助模型生成的投机标记（speculative tokens）数量。num_assistant_tokens 的值越高，生成就越具有投机性：如果辅助模型性能良好，可以获得更大的加速；如果辅助模型需要大量修正，加速则较小。
num_assistant_tokens_schedule (str, 可选) — 定义推理期间最大辅助标记更改的调度方式。
- "heuristic": 当所有投机标记都正确时，将 num_assistant_tokens 增加 2，否则减少 1。在使用相同辅助模型的多次生成调用中，num_assistant_tokens 的值是持久的。
- "heuristic_transient": 与 "heuristic" 相同，但每次生成调用后 num_assistant_tokens 会重置为其初始值。
- "constant": num_assistant_tokens 在生成期间保持不变。
assistant_confidence_threshold (float, 可选) — 辅助模型的置信度阈值。如果辅助模型对当前标记预测的置信度低于此阈值，辅助模型将停止当前标记生成迭代，即使尚未达到投机标记数（由 num_assistant_tokens 定义）。辅助模型的置信度阈值在整个投机迭代中进行调整，以减少不必要的草稿和目标前向传播次数，并偏向于避免假阴性。在使用相同辅助模型的多次生成调用中，assistant_confidence_threshold 的值是持久的。它是来自《Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models》https://huggingface.co/papers/2405.04304 的动态投机前瞻（dynamic speculation lookahead）的无监督版本。
prompt_lookup_num_tokens (int, 可选) — 作为候选标记输出的标记数量。
max_matching_ngram_size (int, 可选) — 在提示词中考虑匹配的最大 n-gram 大小。如果未提供，默认值为 2。
assistant_early_exit(int, 可选) — 如果设置为正整数，模型的早退（early exit）将作为助手使用。仅适用于支持早退的模型（即中间层的 logits 可以被 LM head 解释的模型）。
assistant_lookbehind(int, 可选) — 如果设置为正整数，重新编码过程将额外考虑最后 assistant_lookbehind 个助手 token，以正确对齐 token。仅在投机解码（speculative decoding）中使用不同分词器时使用。详见此博客。
target_lookbehind(int, 可选) — 如果设置为正整数，重新编码过程将额外考虑最后 target_lookbehind 个目标 token，以正确对齐 token。仅在投机解码中使用不同分词器时使用。详见此博客。

与性能和编译相关的参数

compile_config (CompileConfig, 可选) — 如果使用可编译缓存，这将控制 generate 如何编译前向传播以实现更快的推理。
disable_compile (bool) — 是否禁用前向传播的自动编译。当满足特定标准（包括使用可编译缓存）时，会发生自动编译。如果您发现需要使用此标志，请提交 issue。

用于保存生成任务配置的类。generate 调用支持以下针对文本解码、文本到文本、语音到文本和视觉到文本模型的生成方法：

贪婪解码（greedy decoding），如果 num_beams=1 且 do_sample=False
多项式采样（multinomial sampling），如果 num_beams=1 且 do_sample=True
束搜索解码（beam-search decoding），如果 num_beams>1 且 do_sample=False
束搜索多项式采样（beam-search multinomial sampling），如果 num_beams>1 且 do_sample=True
辅助解码（assisted decoding），如果将 assistant_model 或 prompt_lookup_num_tokens 传递给 .generate()

要了解更多关于解码策略的信息，请参阅文本生成策略指南。

大量此类标志控制着生成的 logits 或停止标准。请务必查看生成相关的类以获取可能操作的完整描述以及使用示例。

注意：在生成循环期间，仍为 None 的配置字段将被 GenerationConfig._get_default_generation_params() 覆盖。如果您想为这些字段使用不同的值，请确保在生成配置中显式设置它们。

from_pretrained

< 源码 >

参数

pretrained_model_name (str 或 os.PathLike) — 可是以下之一：
- 一个字符串，即托管在 huggingface.co 模型库中的预训练模型配置的 model id。
- 包含使用 save_pretrained() 方法保存的配置文件的目录路径，例如 ./my_model_directory/。
config_file_name (str 或 os.PathLike，可选，默认为 "generation_config.json") — 要从 pretrained_model_name 加载的生成配置 JSON 文件的名称。
cache_dir (str 或 os.PathLike，可选) — 如果不使用标准缓存，下载的预训练模型配置应缓存到的目录路径。
force_download (bool，可选，默认为 False) — 是否强制（重新）下载配置文件并覆盖已存在的缓存版本（如果存在）。
proxies (dict[str, str]，可选) — 按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将用于每个请求。
token (str 或 bool，可选) — 用作远程文件 HTTP Bearer 身份验证的令牌。如果为 True 或未指定，将使用运行 hf auth login 时生成的令牌（存储在 ~/.huggingface 中）。
revision (str，可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 id。由于我们使用基于 git 的系统在 huggingface.co 上存储模型和其他构件，因此 revision 可以是 git 允许的任何标识符。

要测试您在 Hub 上提交的拉取请求（pull request），可以传递 revision="refs/pr/<pr_number>"。
return_unused_kwargs (bool，可选，默认为 False) — 如果为 False，此函数仅返回最终的配置对象。

如果为 True，此函数将返回一个 Tuple(config, unused_kwargs)，其中 unused_kwargs 是一个包含不属于配置属性的键值对的字典：即 kwargs 中未用于更新 config 且被忽略的部分。
subfolder (str，可选，默认为 "") — 如果相关文件位于 huggingface.co 模型仓库的子文件夹中，可以在此处指定文件夹名称。
kwargs (dict[str, Any]，可选) — kwargs 中任何属于配置属性的键值对将用于覆盖加载的值。对于不属于配置属性的键值对，其处理行为由 return_unused_kwargs 关键字参数控制。

GenerationConfig

从此预训练模型实例化的配置对象。

从生成配置文件实例化一个 GenerationConfig。

示例

>>> from transformers import GenerationConfig

>>> # Download configuration from huggingface.co and cache.
>>> generation_config = GenerationConfig.from_pretrained("openai-community/gpt2")

>>> # E.g. config was saved using *save_pretrained('./test/saved_model/')*
>>> generation_config.save_pretrained("./test/saved_model/")
>>> generation_config = GenerationConfig.from_pretrained("./test/saved_model/")

>>> # You can also specify configuration names to your generation configuration file
>>> generation_config.save_pretrained("./test/saved_model/", config_file_name="my_configuration.json")
>>> generation_config = GenerationConfig.from_pretrained("./test/saved_model/", "my_configuration.json")

>>> # If you'd like to try a minor variation to an existing configuration, you can also pass generation
>>> # arguments to `.from_pretrained()`. Be mindful that typos and unused arguments will be ignored
>>> generation_config, unused_kwargs = GenerationConfig.from_pretrained(
...     "openai-community/gpt2", top_k=1, foo=False, do_sample=True, return_unused_kwargs=True
... )
>>> generation_config.top_k
1

>>> unused_kwargs
{'foo': False}

from_model_config

< 源码 >

( model_config: typing.Union[ForwardRef('PreTrainedConfig'), dict] ) → GenerationConfig

参数

model_config (PreTrainedConfig | dict) — 用于实例化生成配置的模型配置。

GenerationConfig

从这些参数实例化的配置对象。

从 PreTrainedConfig 实例化一个 GenerationConfig。此函数对于将可能包含生成参数的旧版 PreTrainedConfig 对象转换为独立的 GenerationConfig 非常有用。

save_pretrained

< 源码 >

( save_directory: str | os.PathLike config_file_name: str | os.PathLike | None = None push_to_hub: bool = False **kwargs )

参数

save_directory (str 或 os.PathLike) — 配置文件 JSON 将被保存到的目录（如果不存在将创建）。
config_file_name (str 或 os.PathLike，可选，默认为 "generation_config.json") — 要保存到 save_directory 中的生成配置 JSON 文件的名称。
push_to_hub (bool，可选，默认为 False) — 保存后是否将您的模型推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到的存储库（默认为您的命名空间中 save_directory 的名称）。
kwargs (dict[str, Any]，可选) — 传递给 push_to_hub() 方法的其他关键字参数。

将生成配置对象保存到目录 save_directory，以便可以使用 from_pretrained() 类方法重新加载。

update

< 源码 >

( defaults_only = False allow_custom_entries = False **kwargs ) → dict[str, Any]

参数

defaults_only (bool，可选，默认为 False) — 是使用 kwargs 更新配置中的所有键，还是仅更新那些设置为 None（即默认值）的键。
allow_custom_entries (bool，可选，默认为 False) — 如果当前配置中不存在，是否允许通过 kwargs 将自定义条目更新到配置中。
kwargs (dict[str, Any]) — 尝试更新此类的属性字典。

dict[str, Any]

包含所有未用于更新实例的键值对的字典。

如果 kwargs 中的属性与现有属性匹配，则使用其更新此类实例的属性，并返回所有未使用的 kwargs。

validate

< 源码 >

( strict = False user_set_attributes: set[str] | None = None )

参数

strict (bool) — 如果为 True，则对发现的任何问题抛出异常。如果为 False，则仅记录问题。
user_set_attributes (set[str]，可选) — 调用者显式提供的属性名称。提供后，有关冲突标志组合（例如 do_sample=False 时设置了仅采样的标志）的“次要问题”警告仅在冲突标志在此集合中时才会触发，从而避免当值继承自模型的默认 generation_config.json 时发出嘈杂的警告。当为 None 时，所有已设置的属性都将被视为用户设置（直接调用 validate() 的向后兼容行为）。

验证 GenerationConfig 实例的属性值。如果存在仅通过配置实例即可检测为错误的参数化，则抛出异常。

请注意，此处未验证的一些参数最好在生成运行时进行验证，因为它们可能取决于其他输入和/或模型，例如与生成长度相关的参数。

get_generation_mode

< 源码 >

( assistant_model: typing.Optional[ForwardRef('PreTrainedModel')] = None ) → GenerationMode

参数

assistant_model (PreTrainedModel，可选) — 用于辅助生成的助手模型。如果设置，生成模式将为辅助生成。

GenerationMode

由此实例触发的生成模式。

返回由 GenerationConfig 实例触发的生成模式。

GenerationMixin

class transformers.GenerationMixin

< 源码 >

( )

一个包含所有自回归文本生成功能的类，用作模型类中的 mixin。继承此类会使模型具有特殊的生成相关行为，例如在初始化时加载 GenerationConfig，或确保在 transformers CI 中运行与 generate 相关的测试。

模型类应继承自 GenerationMixin 以启用对 generate 等方法的调用，或者当它定义了直接或间接依赖于 GenerationMixin 且与 generate 等公共方法具有大致相同接口的自定义 generate 方法时。以下是三个示例：

LlamaForCausalLM 应继承自 GenerationMixin 以启用对 generate 以及 mixin 中其他公共方法的调用；
BlipForQuestionAnswering 具有一个自定义 generate 方法，该方法与 GenerationMixin.generate 具有大致相同的接口（它有一些额外的参数，且输出相同）。该函数还通过内部模型间接调用 GenerationMixin.generate。因此，BlipForQuestionAnswering 应继承自 GenerationMixin，以受益于我们代码库中所有与生成相关的自动化功能；
BarkModel 具有自定义 generate 方法，且其内部模型之一调用了 GenerationMixin.generate。但是，其 generate 不与 GenerationMixin.generate 共享相同的接口。在这种情况下，BarkModel 不应继承自 GenerationMixin，因为它破坏了 generate 接口。

该类公开了 generate()，可用于：

贪婪解码（greedy decoding），如果 num_beams=1 且 do_sample=False
多项式采样（multinomial sampling），如果 num_beams=1 且 do_sample=True
束搜索解码（beam-search decoding），如果 num_beams>1 且 do_sample=False
束搜索多项式采样（beam-search multinomial sampling），如果 num_beams>1 且 do_sample=True
辅助解码（assisted decoding），如果将 assistant_model 或 prompt_lookup_num_tokens 传递给 .generate()

要了解更多关于解码策略的信息，请参阅文本生成策略指南。

生成

< 源码 >

( inputs: torch.Tensor | None = None generation_config: transformers.generation.configuration_utils.GenerationConfig | None = None logits_processor: transformers.generation.logits_process.LogitsProcessorList | None = None stopping_criteria: transformers.generation.stopping_criteria.StoppingCriteriaList | None = None prefix_allowed_tokens_fn: collections.abc.Callable[[int, torch.Tensor], list[int]] | None = None synced_gpus: bool | None = None assistant_model: typing.Optional[ForwardRef('PreTrainedModel')] = None streamer: typing.Optional[ForwardRef('BaseStreamer')] = None negative_prompt_ids: torch.Tensor | None = None negative_prompt_attention_mask: torch.Tensor | None = None custom_generate: str | collections.abc.Callable | None = None **kwargs ) → ModelOutput 或 torch.LongTensor

参数

inputs (形状随模态变化的 torch.Tensor，可选) — 用作生成提示或编码器模型输入的序列。如果为 None，该方法将使用 bos_token_id 初始化它，batch size 为 1。对于 decoder-only 模型，inputs 的格式应为 input_ids。对于 encoder-decoder 模型，inputs 可以代表 input_ids、input_values、input_features 或 pixel_values 中的任何一种。
generation_config (GenerationConfig，可选) — 用作生成调用基础参数化的生成配置。传递给 generate 且与 generation_config 属性匹配的 **kwargs 将覆盖它们。如果未提供 generation_config，将使用默认配置，其加载优先级如下：1) 来自 generation_config.json 模型文件（如果存在）；2) 来自模型配置。请注意，未指定的参数将继承 GenerationConfig 的默认值，应查阅其文档以对生成进行参数化。
logits_processor (LogitsProcessorList，可选) — 补充从参数和生成配置构建的默认 logits 处理器的自定义 logits 处理器。如果传递了已使用参数或生成配置创建的 logit 处理器，则会抛出错误。此功能适用于高级用户。
stopping_criteria (StoppingCriteriaList，可选) — 补充从参数和生成配置构建的默认停止标准的自定义停止标准。如果传递了已使用参数或生成配置创建的停止标准，则会抛出错误。如果您的停止标准取决于 scores 输入，请确保将 return_dict_in_generate=True, output_scores=True 传递给 generate。此功能适用于高级用户。
prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]]，可选) — 如果提供，此函数在每一步将束搜索限制为仅允许的 token。如果未提供，则不应用约束。此函数接受 2 个参数：batch ID batch_id 和 input_ids。它必须返回一个列表，其中包含在以 batch_id 和之前生成的 token inputs_ids 为条件时，下一个生成步骤允许的 token。此参数对于以特定前缀为条件的约束生成非常有用，详见自回归实体检索（Autoregressive Entity Retrieval）。
synced_gpus (bool，可选) — 是否继续运行 while 循环直到达到 max_length。除非被覆盖，否则在使用 FullyShardedDataParallel 或具有多个 GPU 的 DeepSpeed ZeRO Stage 3 时，此标志将设置为 True，以避免在一个 GPU 比其他 GPU 先完成生成时发生死锁。否则，默认为 False。
assistant_model (PreTrainedModel，可选) — 可用于加速生成的助手模型。助手模型必须具有完全相同的分词器。当使用助手模型预测候选 token 比在当前模型上运行生成快得多时，即可实现加速。因此，助手模型应该小得多。
streamer (BaseStreamer，可选) — 将用于流式传输生成序列的 Streamer 对象。生成的 token 将通过 streamer.put(token_ids) 传递，由 streamer 负责任何后续处理。
negative_prompt_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 某些处理器（如 CFG）所需的负面提示词。batch size 必须与输入 batch size 匹配。这是一个实验性功能，将来可能会有破坏性的 API 更改。
negative_prompt_attention_mask (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — negative_prompt_ids 的注意力掩码（attention_mask）。
custom_generate (str 或 Callable，可选) — 可是以下之一：
- str (Hugging Face Hub 仓库名称)：运行在该仓库 custom_generate/generate.py 中定义的自定义 generate 函数，而不是标准 generate 方法。该仓库将完全替换生成逻辑，且返回类型可能不同。
- str (本地仓库路径)：同上，但来自本地路径，不需要 trust_remote_code。
- Callable：generate 将执行通常的输入准备步骤，然后调用提供的可调用对象来运行解码循环。更多信息请参见文档。
kwargs (dict[str, Any]，可选) — generation_config 的即时参数化和/或将转发给模型 forward 函数的其他模型特定关键字参数。如果模型是 encoder-decoder 模型，则编码器特定的关键字参数不应加前缀，而解码器特定的关键字参数应加 decoder_ 前缀。

ModelOutput 或 torch.LongTensor

一个 ModelOutput（如果 return_dict_in_generate=True 或 config.return_dict_in_generate=True）或一个 torch.LongTensor。

如果模型*不是*编码器-解码器模型（model.config.is_encoder_decoder=False），可能的 ModelOutput 类型为

如果模型是编码器-解码器模型（model.config.is_encoder_decoder=True），可能的 ModelOutput 类型为

为具有语言建模头的模型生成词元 ID 序列。

大多数生成控制参数在 generation_config 中设置，如果未传递 generation_config，则将设置为模型的默认生成配置。您可以通过将相应的参数传递给 generate() 来覆盖任何 generation_config，例如 .generate(inputs, num_beams=4, do_sample=True)。

有关生成策略和代码示例的概述，请查阅以下指南。

Transformers

生成

GenerationConfig

class transformers.GenerationConfig

from_pretrained

from_model_config

save_pretrained

update

validate

get_generation_mode

GenerationMixin

class transformers.GenerationMixin

生成

compute_transition_scores

ContinuousMixin

class transformers.ContinuousMixin

continuous_batching_context_manager

destroy_cached_continuous_batching_manager

generate_batch

init_continuous_batching

ContinuousBatchingManager

class transformers.ContinuousBatchingManager

add_request

add_requests

cancel_request

destroy

get_result

is_running

join

register_result_handler

request_id_iter

开始

stop

switch_to_paged_attn

warmup

Scheduler

class transformers.generation.Scheduler

add_waiting_request

clear_cancelled_requests

finish_request

get_active_request_static_outputs

has_pending_requests

pop_request_to_evict

request_is_cancelled

重置

schedule_batch

set_request_cancellation

FIFOScheduler

class transformers.generation.FIFOScheduler

PrefillFirstScheduler

class transformers.generation.PrefillFirstScheduler