[inputs] | * |
| (Tensor 形状根据模态而异,可选): 用作生成提示或作为模型输入到编码器的序列。如果为 null ,则该方法使用 bos_token_id 和 1 的批次大小进行初始化。对于解码器端模型,inputs 应采用 input_ids 的格式。对于编码器-解码器模型,inputs 可以表示 input_ids 、input_values 、input_features 或 pixel_values 中的任何一个。 |
[generation_config] | * |
| (GenerationConfig , 可选): 用作生成调用基础参数化的生成配置。传递给 generate 的 **kwargs 与 generation_config 的属性匹配将覆盖它们。如果没有提供 generation_config ,则将使用默认值,其加载优先级如下 - (1) 来自
generation_config.json 模型文件(如果存在); - (2) 来自模型配置。请注意,未指定的参数将继承 [
GenerationConfig ] 的默认值,应检查其文档以参数化生成。
|
[logits_processor] | * |
| (LogitsProcessorList , 可选): 补充从参数和生成配置构建的默认 logits 处理器的自定义 logits 处理器。如果传递的 logit 处理器已使用参数或生成配置创建,则会引发错误。此功能适用于高级用户。 |
[stopping_criteria] | * |
| (StoppingCriteriaList , 可选): 补充从参数和生成配置构建的默认停止条件的自定义停止条件。如果传递的停止条件已使用参数或生成配置创建,则会引发错误。此功能适用于高级用户。 |
[streamer] | * |
| (BaseStreamer , 可选): 将用于流式传输生成的序列的流媒体对象。生成的标记通过 streamer.put(token_ids) 传递,流媒体负责任何进一步的处理。 |
[decoder_input_ids] | 数组.<数字> |
| (number[] , 可选): 如果模型是编码器-解码器模型,则此参数用于传递 decoder_input_ids 。 |