Diffusers 文档
CogView3Plus
并获得增强的文档体验
开始使用
CogView3Plus
CogView3: 通过接力扩散实现更精细、更快速的文本到图像生成,作者:清华大学 & 智谱AI 的 Wendi Zheng, Jiayan Teng, Zhuoyi Yang, Weihan Wang, Jidong Chen, Xiaotao Gu, Yuxiao Dong, Ming Ding, Jie Tang。
论文摘要如下:
最近文本到图像生成系统的进展主要由扩散模型驱动。然而,单阶段文本到图像扩散模型在计算效率和图像细节的细化方面仍面临挑战。为了解决这个问题,我们提出了 CogView3,一个创新的级联框架,可增强文本到图像扩散的性能。CogView3 是第一个在文本到图像生成领域实现接力扩散的模型,它通过首先创建低分辨率图像,然后应用基于接力的超分辨率来执行任务。这种方法不仅产生了具有竞争力的文本到图像输出,而且大大降低了训练和推理成本。我们的实验结果表明,CogView3 在人工评估中比当前最先进的开源文本到图像扩散模型 SDXL 高出 77.0%,同时推理时间仅为 SDXL 的 1/2。CogView3 的蒸馏变体在仅使用 SDXL 1/10 推理时间的情况下实现了可比的性能。
此管道由 zRzRzRzRzRzRzR 贡献。原始代码库可在此处找到。原始权重可在 hf.co/THUDM 下找到。
CogView3PlusPipeline
class diffusers.CogView3PlusPipeline
< 源 >( tokenizer: T5Tokenizer text_encoder: T5EncoderModel vae: AutoencoderKL transformer: CogView3PlusTransformer2DModel scheduler: typing.Union[diffusers.schedulers.scheduling_ddim_cogvideox.CogVideoXDDIMScheduler, diffusers.schedulers.scheduling_dpm_cogvideox.CogVideoXDPMScheduler] )
参数
- vae (AutoencoderKL) — 变分自动编码器(VAE)模型,用于将图像编码和解码为潜在表示。
- text_encoder (
T5EncoderModel
) — 冻结的文本编码器。CogView3Plus 使用 T5;具体是 t5-v1_1-xxl 变体。 - tokenizer (
T5Tokenizer
) — T5Tokenizer 类的分词器。 - transformer (CogView3PlusTransformer2DModel) — 一个文本条件
CogView3PlusTransformer2DModel
,用于对编码后的图像潜在进行去噪。 - scheduler (SchedulerMixin) — 一个与
transformer
结合使用的调度器,用于对编码后的图像潜在进行去噪。
用于使用 CogView3Plus 生成文本到图像的管道。
此模型继承自 DiffusionPipeline。请查看超类文档,了解库为所有管道实现的通用方法(例如下载或保存、在特定设备上运行等)。
__call__
< 源 >( prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt: typing.Union[str, typing.List[str], NoneType] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.Optional[typing.List[int]] = None guidance_scale: float = 5.0 num_images_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.FloatTensor] = None prompt_embeds: typing.Optional[torch.FloatTensor] = None negative_prompt_embeds: typing.Optional[torch.FloatTensor] = None original_size: typing.Optional[typing.Tuple[int, int]] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) output_type: str = 'pil' return_dict: bool = True callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] max_sequence_length: int = 224 ) → CogView3PipelineOutput or tuple
参数
- prompt (
str
或List[str]
, 可选) — 用于指导图像生成的提示词。如果未定义,则必须传递prompt_embeds
。 - negative_prompt (
str
或List[str]
, 可选) — 不用于指导图像生成的提示词。如果未定义,则必须传递negative_prompt_embeds
。当不使用引导时(即,如果guidance_scale
小于1
时),此参数将被忽略。 - height (
int
, 可选, 默认为 self.transformer.config.sample_size * self.vae_scale_factor) — 生成图像的高度(像素)。如果未提供,则设置为 1024。 - width (
int
, 可选, 默认为 self.transformer.config.sample_size * self.vae_scale_factor) — 生成图像的宽度(像素)。如果未提供,则设置为 1024。 - num_inference_steps (
int
, 可选, 默认为50
) — 去噪步数。更多的去噪步数通常会带来更高的图像质量,但推理速度会变慢。 - timesteps (
List[int]
, 可选) — 使用在其set_timesteps
方法中支持timesteps
参数的调度器进行去噪过程的自定义时间步。如果未定义,将使用传递num_inference_steps
时的默认行为。必须按降序排列。 - guidance_scale (
float
, 可选, 默认为5.0
) — 如 Classifier-Free Diffusion Guidance 中定义的引导比例。guidance_scale
定义为 Imagen Paper 中公式 2 的w
。通过设置guidance_scale > 1
启用引导比例。更高的引导比例鼓励生成与文本prompt
密切相关的图像,通常以牺牲图像质量为代价。 - num_images_per_prompt (
int
, 可选, 默认为1
) — 每个提示词生成的图像数量。 - generator (
torch.Generator
或List[torch.Generator]
, 可选) — 一个或多个 torch 生成器,用于使生成具有确定性。 - latents (
torch.FloatTensor
, 可选) — 预生成的带噪潜在向量,从高斯分布中采样,用作图像生成的输入。可用于使用不同提示词调整相同的生成。如果未提供,则将通过使用提供的随机generator
进行采样来生成潜在张量。 - prompt_embeds (
torch.FloatTensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入,例如提示词加权。如果未提供,将从prompt
输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.FloatTensor
, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入,例如提示词加权。如果未提供,negative_prompt_embeds
将从negative_prompt
输入参数生成。 - original_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 如果original_size
与target_size
不同,图像将显示为缩小或放大。如果未指定,original_size
默认为(height, width)
。作为 SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。 - crops_coords_top_left (
Tuple[int]
, 可选, 默认为 (0, 0)) —crops_coords_top_left
可用于生成一个似乎从crops_coords_top_left
位置向下“裁剪”的图像。通过将crops_coords_top_left
设置为 (0, 0) 通常可以获得有利的、居中的图像。作为 SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。 - output_type (
str
, 可选, 默认为"pil"
) — 生成图像的输出格式。在 PIL:PIL.Image.Image
或np.array
之间选择。 - return_dict (
bool
, 可选, 默认为True
) — 是否返回~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput
而不是普通的元组。 - attention_kwargs (
dict
, 可选) — 一个 kwargs 字典,如果指定,则会传递给 diffusers.models.attention_processor 中定义的self.processor
的AttentionProcessor
。 - callback_on_step_end (
Callable
, 可选) — 在推理过程中,每个去噪步骤结束时调用的函数。该函数通过以下参数调用:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)
。callback_kwargs
将包含callback_on_step_end_tensor_inputs
中指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List
, 可选) —callback_on_step_end
函数的张量输入列表。列表中指定的张量将作为callback_kwargs
参数传递。您只能包含管道类._callback_tensor_inputs
属性中列出的变量。 - max_sequence_length (
int
, 默认为224
) — 编码提示中的最大序列长度。可以设置为其他值,但可能会导致较差的结果。
返回
CogView3PipelineOutput 或 tuple
如果return_dict
为 True,则为CogView3PipelineOutput,否则为tuple
。当返回元组时,第一个元素是包含生成图像的列表。
调用管道进行生成时调用的函数。
示例
>>> import torch
>>> from diffusers import CogView3PlusPipeline
>>> pipe = CogView3PlusPipeline.from_pretrained("THUDM/CogView3-Plus-3B", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = "A photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt).images[0]
>>> image.save("output.png")
encode_prompt
< 源 >( prompt: typing.Union[str, typing.List[str]] negative_prompt: typing.Union[str, typing.List[str], NoneType] = None do_classifier_free_guidance: bool = True num_images_per_prompt: int = 1 prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None max_sequence_length: int = 224 device: typing.Optional[torch.device] = None dtype: typing.Optional[torch.dtype] = None )
参数
- prompt (
str
或List[str]
, 可选) — 待编码的提示 - negative_prompt (
str
或List[str]
, 可选) — 不用于引导图像生成的提示。如果未定义,则必须传递negative_prompt_embeds
。当不使用指导时(即,如果guidance_scale
小于1
),则忽略。 - do_classifier_free_guidance (
bool
, 可选, 默认为True
) — 是否使用无分类器指导。 - num_images_per_prompt (
int
, 可选, 默认为 1) — 每个提示应生成的图像数量。用于放置结果嵌入的torch设备。 - prompt_embeds (
torch.Tensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,文本嵌入将从prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,negative_prompt_embeds
将从negative_prompt
输入参数生成。 - max_sequence_length (
int
, 默认为224
) — 编码提示中的最大序列长度。可以设置为其他值,但可能会导致较差的结果。 - device — (
torch.device
, 可选): torch设备 - dtype — (
torch.dtype
, 可选): torch数据类型
将提示编码为文本编码器隐藏状态。
CogView3PipelineOutput
class diffusers.pipelines.cogview3.pipeline_output.CogView3PipelineOutput
< 源 >( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] )
CogView3管道的输出类。