Diffusers 文档
HiDreamImage
并获得增强的文档体验
开始使用
HiDreamImage
HiDream-I1 by HiDream.ai
可用模型
以下模型适用于 HiDreamImagePipeline 管道
| 模型名称 | 描述 |
|---|---|
HiDream-ai/HiDream-I1-Full | - |
HiDream-ai/HiDream-I1-Dev | - |
HiDream-ai/HiDream-I1-Fast | - |
HiDreamImagePipeline
class diffusers.HiDreamImagePipeline
< source >( scheduler: FlowMatchEulerDiscreteScheduler vae: AutoencoderKL text_encoder: CLIPTextModelWithProjection tokenizer: CLIPTokenizer text_encoder_2: CLIPTextModelWithProjection tokenizer_2: CLIPTokenizer text_encoder_3: T5EncoderModel tokenizer_3: T5Tokenizer text_encoder_4: LlamaForCausalLM tokenizer_4: PreTrainedTokenizerFast transformer: HiDreamImageTransformer2DModel )
__call__
< source >( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None prompt_3: typing.Union[str, typing.List[str], NoneType] = None prompt_4: typing.Union[str, typing.List[str], NoneType] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 sigmas: typing.Optional[typing.List[float]] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_3: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_4: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.FloatTensor] = None prompt_embeds_t5: typing.Optional[torch.FloatTensor] = None prompt_embeds_llama3: typing.Optional[torch.FloatTensor] = None negative_prompt_embeds_t5: typing.Optional[torch.FloatTensor] = None negative_prompt_embeds_llama3: typing.Optional[torch.FloatTensor] = None pooled_prompt_embeds: typing.Optional[torch.FloatTensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.FloatTensor] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None callback_on_step_end: typing.Optional[typing.Callable[[int, int, typing.Dict], NoneType]] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] max_sequence_length: int = 128 **kwargs ) → ~pipelines.hidream_image.HiDreamImagePipelineOutput or tuple
参数
- prompt (
str或List[str], 可选) — 用于引导图像生成的提示词。如果未定义，则必须传入prompt_embeds。 - prompt_2 (
str或List[str], 可选) — 要发送到tokenizer_2和text_encoder_2的提示词。如果未定义，将使用prompt代替。 - prompt_3 (
str或List[str], 可选) — 要发送到tokenizer_3和text_encoder_3的提示词。如果未定义，将使用prompt代替。 - prompt_4 (
str或List[str], 可选) — 要发送到tokenizer_4和text_encoder_4的提示词。如果未定义，将使用prompt代替。 - height (
int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。为获得最佳效果，默认设置为 1024。 - width (
int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。为获得最佳效果，默认设置为 1024。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步数。去噪步数越多通常会生成更高质量的图像，但推理速度会变慢。 - sigmas (
List[float], 可选) — 用于去噪过程的自定义 sigmas，适用于支持set_timesteps方法中sigmas参数的调度器。如果未定义，将使用传入num_inference_steps时的默认行为。 - guidance_scale (
float, 可选, 默认为 3.5) — 如 Classifier-Free Diffusion Guidance 中定义的引导比例。guidance_scale定义为 Imagen Paper 中公式 2 的w。通过设置guidance_scale > 1启用引导比例。较高的引导比例鼓励生成与文本prompt密切相关的图像，通常以牺牲较低图像质量为代价。 - negative_prompt (
str或List[str], 可选) — 用于不引导图像生成的提示词。如果未定义，则必须传入negative_prompt_embeds代替。在使用非引导模式时（即如果true_cfg_scale不大于1），此参数将被忽略。 - negative_prompt_2 (
str或List[str], 可选) — 要发送到tokenizer_2和text_encoder_2的不引导图像生成的提示词。如果未定义，所有文本编码器都将使用negative_prompt。 - negative_prompt_3 (
str或List[str], 可选) — 要发送到tokenizer_3和text_encoder_3的不引导图像生成的提示词。如果未定义，所有文本编码器都将使用negative_prompt。 - negative_prompt_4 (
str或List[str], 可选) — 要发送到tokenizer_4和text_encoder_4的不引导图像生成的提示词。如果未定义，所有文本编码器都将使用negative_prompt。 - num_images_per_prompt (
int, 可选, 默认为 1) — 每个提示词生成的图像数量。 - generator (
torch.Generator或List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成具有确定性。 - latents (
torch.FloatTensor, 可选) — 预生成的含噪潜在向量，从高斯分布中采样，用作图像生成的输入。可用于通过不同提示词调整同一生成。如果未提供，将使用提供的随机generator采样生成一个潜在向量张量。 - prompt_embeds (
torch.FloatTensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.FloatTensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将从negative_prompt输入参数生成负面文本嵌入。 - pooled_prompt_embeds (
torch.FloatTensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将从prompt输入参数生成池化文本嵌入。 - negative_pooled_prompt_embeds (
torch.FloatTensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将从negative_prompt输入参数生成负面池化文本嵌入。 - output_type (
str, 可选, 默认为"pil") — 生成图像的输出格式。选择PIL:PIL.Image.Image或np.array。 - return_dict (
bool, 可选, 默认为True) — 是否返回~pipelines.flux.FluxPipelineOutput而不是普通元组。 - attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，将作为self.processor下定义的AttentionProcessor的参数传递给diffusers.models.attention_processor。 - callback_on_step_end (
Callable, 可选) — 在推理过程中每个去噪步骤结束时调用的函数。该函数将使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含callback_on_step_end_tensor_inputs中指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。您只能包含管道类的._callback_tensor_inputs属性中列出的变量。 - max_sequence_length (
int默认为 128) — 用于prompt的最大序列长度。
返回
~pipelines.hidream_image.HiDreamImagePipelineOutput 或 tuple
如果return_dict为 True，则为~pipelines.hidream_image.HiDreamImagePipelineOutput，否则为tuple。当返回元组时，第一个元素是生成的图像列表。
调用管道进行生成时调用的函数。
示例
>>> import torch
>>> from transformers import AutoTokenizer, LlamaForCausalLM
>>> from diffusers import HiDreamImagePipeline
>>> tokenizer_4 = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3.1-8B-Instruct")
>>> text_encoder_4 = LlamaForCausalLM.from_pretrained(
... "meta-llama/Meta-Llama-3.1-8B-Instruct",
... output_hidden_states=True,
... output_attentions=True,
... torch_dtype=torch.bfloat16,
... )
>>> pipe = HiDreamImagePipeline.from_pretrained(
... "HiDream-ai/HiDream-I1-Full",
... tokenizer_4=tokenizer_4,
... text_encoder_4=text_encoder_4,
... torch_dtype=torch.bfloat16,
... )
>>> pipe.enable_model_cpu_offload()
>>> image = pipe(
... 'A cat holding a sign that says "Hi-Dreams.ai".',
... height=1024,
... width=1024,
... guidance_scale=5.0,
... num_inference_steps=50,
... generator=torch.Generator("cuda").manual_seed(0),
... ).images[0]
>>> image.save("output.png")禁用切片 VAE 解码。如果之前启用了 enable_vae_slicing，此方法将返回一步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_vae_tiling，此方法将恢复一步计算解码。
启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。
启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。
HiDreamImagePipelineOutput
class diffusers.pipelines.hidream_image.pipeline_output.HiDreamImagePipelineOutput
< 来源 >( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] )
HiDreamImage 管道的输出类。