Diffusers 文档
K-扩散
并获取增强的文档体验
开始使用
K-Diffusion
k-diffusion 是由 Katherine Crowson 创建的流行库。我们提供 StableDiffusionKDiffusionPipeline 和 StableDiffusionXLKDiffusionPipeline，它们允许您使用 k-diffusion 中的采样器运行 Stable Diffusion。
请注意，k-diffusion 中的大多数采样器已在 Diffusers 中实现，我们建议使用现有的调度器。您可以在 Diffusers 此处找到 k-diffusion 采样器和调度器之间的映射关系
StableDiffusionKDiffusionPipeline
class diffusers.StableDiffusionKDiffusionPipeline
< source >( vae text_encoder tokenizer unet scheduler safety_checker feature_extractor requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示形式以及从潜在表示形式解码图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器。 Stable Diffusion 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。 - tokenizer (
CLIPTokenizer) — CLIPTokenizer 类的分词器。 - unet (UNet2DConditionModel) — 条件 U-Net 架构，用于对编码后的图像潜在空间进行去噪。
- scheduler (SchedulerMixin) — 调度器，与
unet结合使用，以对编码后的图像潜在空间进行去噪。 可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - safety_checker (
StableDiffusionSafetyChecker) — 分类模块，用于评估生成的图像是否可能被认为是冒犯性或有害的。 请参阅 模型卡片 以了解详细信息。 - feature_extractor (
CLIPImageProcessor) — 模型，用于从生成的图像中提取特征，以用作safety_checker的输入。
用于文本到图像生成的 Stable Diffusion 管线。
此模型继承自 DiffusionPipeline。 查看超类文档，了解库为所有管线实现的通用方法（例如下载或保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
这是一个实验性管线，未来可能会发生变化。
encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示词 - device — (
torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示词应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不用于引导图像生成的提示或提示列表。 如果未定义，则必须传递negative_prompt_embeds。 当不使用引导时忽略（即，如果guidance_scale小于1，则忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 缩放。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示词嵌入。 值 1 表示预最终层的输出将用于计算提示词嵌入。
将提示词编码为文本编码器隐藏状态。
StableDiffusionXLKDiffusionPipeline
class diffusers.StableDiffusionXLKDiffusionPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers force_zeros_for_empty_prompt: bool = True )
参数
- vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示形式以及从潜在表示形式解码图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器。 Stable Diffusion XL 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。 - text_encoder_2 (
CLIPTextModelWithProjection) — 第二个冻结的文本编码器。 Stable Diffusion XL 使用 CLIP 的文本和池化部分，特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。 - tokenizer (
CLIPTokenizer) — 类 CLIPTokenizer 的分词器。 - tokenizer_2 (
CLIPTokenizer) — 第二个类 CLIPTokenizer 的分词器。 - unet (UNet2DConditionModel) — 条件 U-Net 架构，用于对编码后的图像潜在空间进行去噪。
- scheduler (SchedulerMixin) — 调度器，与
unet结合使用，以对编码后的图像潜在空间进行去噪。 可以是 DDIMScheduler、 LMSDiscreteScheduler 或 PNDMScheduler 之一。 - force_zeros_for_empty_prompt (
bool, 可选, 默认为"True") — 是否强制将负面提示词嵌入始终设置为 0。另请参阅stabilityai/stable-diffusion-xl-base-1-0的配置。
使用 Stable Diffusion XL 和 k-diffusion 进行文本到图像生成的 Pipeline。
此模型继承自 DiffusionPipeline。 查看超类文档，了解库为所有管线实现的通用方法（例如下载或保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- from_single_file() 用于加载
.ckpt文件 - load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
encode_prompt
< source >( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示词 - prompt_2 (
str或List[str], 可选) — 要发送到tokenizer_2和text_encoder_2的提示词。如果未定义，则prompt将用于两个文本编码器 - device — (
torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示词应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示词。 如果未定义，则必须传递negative_prompt_embeds。 当不使用引导时忽略（即，如果guidance_scale小于1则忽略）。 - negative_prompt_2 (
str或List[str], 可选) — 不引导图像生成的提示词，将发送到tokenizer_2和text_encoder_2。 如果未定义，则negative_prompt将用于两个文本编码器 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - pooled_prompt_embeds (
torch.Tensor, 可选) — 预生成的池化文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从prompt输入参数生成池化文本嵌入。 - negative_pooled_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面池化文本嵌入。 可用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从negative_prompt输入参数生成池化的 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层的 lora 缩放比例。 - clip_skip (
int, 可选) — 在计算提示词嵌入时，要从 CLIP 中跳过的层数。 值为 1 表示预最终层的输出将用于计算提示词嵌入。
将提示词编码为文本编码器隐藏状态。