使用 AnimateDiff 进行文本到视频的生成
概述
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 作者：Yuwei Guo, Ceyuan Yang, Anyi Rao, Yaohui Wang, Yu Qiao, Dahua Lin, Bo Dai。
该论文的摘要如下
随着文本到图像模型（例如，Stable Diffusion）和相应的个性化技术（如 DreamBooth 和 LoRA）的进步，每个人都可以以可承受的成本将他们的想象力转化为高质量的图像。 随后，对图像动画技术的需求巨大，以进一步将生成的静态图像与运动动态相结合。 在本报告中，我们提出了一个实用的框架，可以一劳永逸地动画化大多数现有的个性化文本到图像模型，从而节省模型特定调整的工作量。 所提出框架的核心是将新初始化的运动建模模块插入到冻结的文本到图像模型中，并在视频剪辑上对其进行训练，以提取合理的运动先验。 一旦训练完成，通过简单地注入这个运动建模模块，从同一个基础 T2I 派生的所有个性化版本都可以轻松地成为文本驱动的模型，从而生成多样化和个性化的动画图像。 我们对动漫图片和真实照片的几个公共代表性个性化文本到图像模型进行了评估，并证明我们提出的框架有助于这些模型生成时间上平滑的动画片段，同时保留其输出的领域和多样性。 代码和预训练权重将在 this https URL 公开提供。
可用的 Pipelines
| Pipeline | Tasks | 演示 |
|---|---|---|
| AnimateDiffPipeline | 使用 AnimateDiff 进行文本到视频的生成 | |
| AnimateDiffControlNetPipeline | 使用 ControlNet 和 AnimateDiff 进行受控视频到视频生成 | |
| AnimateDiffSparseControlNetPipeline | 使用 SparseCtrl 和 AnimateDiff 进行受控视频到视频生成 | |
| AnimateDiffSDXLPipeline | 使用 AnimateDiff 进行视频到视频生成 | |
| AnimateDiff视频到视频管线 | 使用 AnimateDiff 进行视频到视频生成 |
可用的检查点
Motion Adapter 检查点可以在 guoyww 下找到。这些检查点旨在与任何基于 Stable Diffusion 1.4/1.5 的模型一起工作。
使用示例
AnimateDiff管线
AnimateDiff 与 MotionAdapter 检查点和 Stable Diffusion 模型检查点协同工作。MotionAdapter 是运动模块的集合，负责在图像帧之间添加连贯的运动。这些模块在 Stable Diffusion UNet 中的 Resnet 和 Attention 块之后应用。
以下示例演示了如何将 MotionAdapter 检查点与 Diffusers 结合使用，以基于 StableDiffusion-1.4/1.5 进行推理。
import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", torch_dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, torch_dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
clip_sample=False,
timestep_spacing="linspace",
beta_schedule="linear",
steps_offset=1,
)
pipe.scheduler = scheduler
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
output = pipe(
prompt=(
"masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
"orange sky, warm lighting, fishing boats, ocean waves seagulls, "
"rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
"golden hour, coastal landscape, seaside scenery"
),
negative_prompt="bad quality, worse quality",
num_frames=16,
guidance_scale=7.5,
num_inference_steps=25,
generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")以下是一些示例输出
 |
AnimateDiff 倾向于与微调的 Stable Diffusion 模型配合使用效果更好。如果您计划使用可以裁剪样本的调度器，请务必在调度器中设置 clip_sample=False 来禁用它，因为这也会对生成的样本产生不利影响。此外，AnimateDiff 检查点可能对调度器的 beta 计划敏感。我们建议将其设置为 linear。
AnimateDiffControlNet管线
AnimateDiff 也可以与 ControlNet 一起使用。ControlNet 在 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 的《为文本到图像扩散模型添加条件控制》中被引入。借助 ControlNet 模型，您可以提供额外的控制图像来调节和控制 Stable Diffusion 的生成。例如，如果您提供深度图，ControlNet 模型将生成一个视频，该视频将保留深度图中的空间信息。这是一种更灵活、更准确的控制视频生成过程的方法。
import torch
from diffusers import AnimateDiffControlNetPipeline, AutoencoderKL, ControlNetModel, MotionAdapter, LCMScheduler
from diffusers.utils import export_to_gif, load_video
# Additionally, you will need a preprocess videos before they can be used with the ControlNet
# HF maintains just the right package for it: `pip install controlnet_aux`
from controlnet_aux.processor import ZoeDetector
# Download controlnets from https://huggingface.co/lllyasviel/ControlNet-v1-1 to use .from_single_file
# Download Diffusers-format controlnets, such as https://huggingface.co/lllyasviel/sd-controlnet-depth, to use .from_pretrained()
controlnet = ControlNetModel.from_single_file("control_v11f1p_sd15_depth.pth", torch_dtype=torch.float16)
# We use AnimateLCM for this example but one can use the original motion adapters as well (for example, https://huggingface.co/guoyww/animatediff-motion-adapter-v1-5-3)
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", torch_dtype=torch.float16)
pipe: AnimateDiffControlNetPipeline = AnimateDiffControlNetPipeline.from_pretrained(
"SG161222/Realistic_Vision_V5.1_noVAE",
motion_adapter=motion_adapter,
controlnet=controlnet,
vae=vae,
).to(device="cuda", dtype=torch.float16)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])
depth_detector = ZoeDetector.from_pretrained("lllyasviel/Annotators").to("cuda")
video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")
conditioning_frames = []
with pipe.progress_bar(total=len(video)) as progress_bar:
for frame in video:
conditioning_frames.append(depth_detector(frame))
progress_bar.update()
prompt = "a panda, playing a guitar, sitting in a pink boat, in the ocean, mountains in background, realistic, high quality"
negative_prompt = "bad quality, worst quality"
video = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
num_frames=len(video),
num_inference_steps=10,
guidance_scale=2.0,
conditioning_frames=conditioning_frames,
generator=torch.Generator().manual_seed(42),
).frames[0]
export_to_gif(video, "animatediff_controlnet.gif", fps=8)以下是一些示例输出
| 源视频 | 输出视频 |
|---|---|
弹吉他的浣熊 | 一只熊猫，弹着吉他，坐在粉红色的船里，在海中，背景是山脉，真实的，高质量 |
AnimateDiffSparseControlNet管线
SparseCtrl：为文本到视频扩散模型添加稀疏控制，用于在 Yuwei Guo、Ceyuan Yang、Anyi Rao、Maneesh Agrawala、Dahua Lin 和 Bo Dai 的文本到视频扩散模型中实现受控生成。
该论文的摘要是
近年来，文本到视频 (T2V) 的发展，即使用给定的文本提示生成视频，取得了显著进展。然而，仅仅依靠文本提示通常会导致由于空间不确定性而造成模糊的帧构图。因此，研究界利用密集的结构信号，例如，逐帧深度/边缘序列，来增强可控性，但这反过来也增加了推理的负担。在这项工作中，我们提出了 SparseCtrl，通过时间上稀疏的信号来实现灵活的结构控制，只需要一个或几个输入，如图 1 所示。它整合了一个额外的条件编码器来处理这些稀疏信号，同时保持预训练的 T2V 模型不变。所提出的方法与各种模态兼容，包括草图、深度图和 RGB 图像，为视频生成提供了更实用的控制，并促进了故事板、深度渲染、关键帧动画和插值等应用。广泛的实验证明了 SparseCtrl 在原始和个性化 T2V 生成器上的泛化能力。代码和模型将在 此 https URL 上公开提供。
SparseCtrl 为受控文本到视频生成引入了以下检查点
使用 SparseCtrl Scribble
import torch
from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-scribble"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"
motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, torch_dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, torch_dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, torch_dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
model_id,
subfolder="scheduler",
beta_schedule="linear",
algorithm_type="dpmsolver++",
use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
model_id,
motion_adapter=motion_adapter,
controlnet=controlnet,
vae=vae,
scheduler=scheduler,
torch_dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")
pipe.fuse_lora(lora_scale=1.0)
prompt = "an aerial view of a cyberpunk city, night time, neon lights, masterpiece, high quality"
negative_prompt = "low quality, worst quality, letterboxed"
image_files = [
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-1.png",
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-2.png",
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-3.png"
]
condition_frame_indices = [0, 8, 15]
conditioning_frames = [load_image(img_file) for img_file in image_files]
video = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
num_inference_steps=25,
conditioning_frames=conditioning_frames,
controlnet_conditioning_scale=1.0,
controlnet_frame_indices=condition_frame_indices,
generator=torch.Generator().manual_seed(1337),
).frames[0]
export_to_gif(video, "output.gif")以下是一些示例输出
 |  |  |
 | ||
使用 SparseCtrl RGB
import torch
from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-rgb"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"
motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, torch_dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, torch_dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, torch_dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
model_id,
subfolder="scheduler",
beta_schedule="linear",
algorithm_type="dpmsolver++",
use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
model_id,
motion_adapter=motion_adapter,
controlnet=controlnet,
vae=vae,
scheduler=scheduler,
torch_dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")
image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-firework.png")
video = pipe(
prompt="closeup face photo of man in black clothes, night city street, bokeh, fireworks in background",
negative_prompt="low quality, worst quality",
num_inference_steps=25,
conditioning_frames=image,
controlnet_frame_indices=[0],
controlnet_conditioning_scale=1.0,
generator=torch.Generator().manual_seed(42),
).frames[0]
export_to_gif(video, "output.gif")以下是一些示例输出
 |  |
AnimateDiffSDXL管线
AnimateDiff 也可以与 SDXL 模型一起使用。这目前是一项实验性功能，因为仅提供运动适配器检查点的 Beta 版本。
import torch
from diffusers.models import MotionAdapter
from diffusers import AnimateDiffSDXLPipeline, DDIMScheduler
from diffusers.utils import export_to_gif
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-sdxl-beta", torch_dtype=torch.float16)
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
clip_sample=False,
timestep_spacing="linspace",
beta_schedule="linear",
steps_offset=1,
)
pipe = AnimateDiffSDXLPipeline.from_pretrained(
model_id,
motion_adapter=adapter,
scheduler=scheduler,
torch_dtype=torch.float16,
variant="fp16",
).to("cuda")
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_vae_tiling()
output = pipe(
prompt="a panda surfing in the ocean, realistic, high quality",
negative_prompt="low quality, worst quality",
num_inference_steps=20,
guidance_scale=8,
width=1024,
height=1024,
num_frames=16,
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")AnimateDiff视频到视频管线
AnimateDiff 也可用于生成视觉上相似的视频，或从初始视频开始启用风格/角色/背景或其他编辑，让您无缝探索创意可能性。
import imageio
import requests
import torch
from diffusers import AnimateDiffVideoToVideoPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
from io import BytesIO
from PIL import Image
# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", torch_dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffVideoToVideoPipeline.from_pretrained(model_id, motion_adapter=adapter, torch_dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
clip_sample=False,
timestep_spacing="linspace",
beta_schedule="linear",
steps_offset=1,
)
pipe.scheduler = scheduler
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
# helper function to load videos
def load_video(file_path: str):
images = []
if file_path.startswith(('http://', 'https://')):
# If the file_path is a URL
response = requests.get(file_path)
response.raise_for_status()
content = BytesIO(response.content)
vid = imageio.get_reader(content)
else:
# Assuming it's a local file path
vid = imageio.get_reader(file_path)
for frame in vid:
pil_image = Image.fromarray(frame)
images.append(pil_image)
return images
video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")
output = pipe(
video = video,
prompt="panda playing a guitar, on a boat, in the ocean, high quality",
negative_prompt="bad quality, worse quality",
guidance_scale=7.5,
num_inference_steps=25,
strength=0.5,
generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")以下是一些示例输出
| 源视频 | 输出视频 |
|---|---|
| 弹吉他的浣熊 | 弹吉他的熊猫 |
玛格特·罗比的特写镜头，背景是烟花，高质量 | 托尼·斯塔克，小罗伯特·唐尼，烟花的特写镜头 |
使用 Motion LoRA
Motion LoRA 是一组与 guoyww/animatediff-motion-adapter-v1-5-2 检查点配合使用的 LoRA。这些 LoRA 负责为动画添加特定类型的运动。
import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", torch_dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, torch_dtype=torch.float16)
pipe.load_lora_weights(
"guoyww/animatediff-motion-lora-zoom-out", adapter_name="zoom-out"
)
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
clip_sample=False,
beta_schedule="linear",
timestep_spacing="linspace",
steps_offset=1,
)
pipe.scheduler = scheduler
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
output = pipe(
prompt=(
"masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
"orange sky, warm lighting, fishing boats, ocean waves seagulls, "
"rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
"golden hour, coastal landscape, seaside scenery"
),
negative_prompt="bad quality, worse quality",
num_frames=16,
guidance_scale=7.5,
num_inference_steps=25,
generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif") |
将 Motion LoRA 与 PEFT 结合使用
您还可以利用 PEFT 后端来组合 Motion LoRA，并创建更复杂的动画。
首先使用以下命令安装 PEFT
pip install peft
然后，您可以使用以下代码来组合 Motion LoRA。
import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", torch_dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, torch_dtype=torch.float16)
pipe.load_lora_weights(
"diffusers/animatediff-motion-lora-zoom-out", adapter_name="zoom-out",
)
pipe.load_lora_weights(
"diffusers/animatediff-motion-lora-pan-left", adapter_name="pan-left",
)
pipe.set_adapters(["zoom-out", "pan-left"], adapter_weights=[1.0, 1.0])
scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
clip_sample=False,
timestep_spacing="linspace",
beta_schedule="linear",
steps_offset=1,
)
pipe.scheduler = scheduler
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
output = pipe(
prompt=(
"masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
"orange sky, warm lighting, fishing boats, ocean waves seagulls, "
"rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
"golden hour, coastal landscape, seaside scenery"
),
negative_prompt="bad quality, worse quality",
num_frames=16,
guidance_scale=7.5,
num_inference_steps=25,
generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif") |
使用 FreeInit
FreeInit：弥合视频扩散模型中的初始化差距，作者：Tianxing Wu、Chenyang Si、Yuming Jiang、Ziqi Huang、Ziwei Liu。
FreeInit 是一种有效的方法，可以提高使用视频扩散模型生成的视频的时间一致性和整体质量，而无需任何额外的训练。它可以无缝应用于 AnimateDiff、ModelScope、VideoCrafter 和各种其他视频生成模型，并在推理时通过迭代细化潜在初始化噪声来工作。更多详细信息可以在论文中找到。
以下示例演示了 FreeInit 的用法。
import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, torch_dtype=torch.float16).to("cuda")
pipe.scheduler = DDIMScheduler.from_pretrained(
model_id,
subfolder="scheduler",
beta_schedule="linear",
clip_sample=False,
timestep_spacing="linspace",
steps_offset=1
)
# enable memory savings
pipe.enable_vae_slicing()
pipe.enable_vae_tiling()
# enable FreeInit
# Refer to the enable_free_init documentation for a full list of configurable parameters
pipe.enable_free_init(method="butterworth", use_fast_sampling=True)
# run inference
output = pipe(
prompt="a panda playing a guitar, on a boat, in the ocean, high quality",
negative_prompt="bad quality, worse quality",
num_frames=16,
guidance_scale=7.5,
num_inference_steps=20,
generator=torch.Generator("cpu").manual_seed(666),
)
# disable FreeInit
pipe.disable_free_init()
frames = output.frames[0]
export_to_gif(frames, "animation.gif")FreeInit 并非真正免费 - 质量的提高是以额外的计算为代价的。它需要多次额外采样，具体取决于启用时设置的 num_iters 参数。将 use_fast_sampling 参数设置为 True 可以提高整体性能（与 use_fast_sampling=False 相比，质量有所降低，但结果仍然优于原始视频生成模型）。
| 未启用 FreeInit | 启用 FreeInit |
|---|---|
弹吉他的熊猫 | 弹吉他的熊猫 |
使用 AnimateLCM
AnimateLCM 是一个运动模块检查点和一个 LCM LoRA，它们是使用一致性学习策略创建的，该策略将图像生成先验和运动生成先验的蒸馏解耦。
import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
output = pipe(
prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
negative_prompt="bad quality, worse quality, low resolution",
num_frames=16,
guidance_scale=1.5,
num_inference_steps=6,
generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm.gif") |
AnimateLCM 也与现有的 Motion LoRA 兼容。
import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")
pipe.load_lora_weights("guoyww/animatediff-motion-lora-tilt-up", adapter_name="tilt-up")
pipe.set_adapters(["lcm-lora", "tilt-up"], [1.0, 0.8])
pipe.enable_vae_slicing()
pipe.enable_model_cpu_offload()
output = pipe(
prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
negative_prompt="bad quality, worse quality, low resolution",
num_frames=16,
guidance_scale=1.5,
num_inference_steps=6,
generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm-motion-lora.gif") |
将 from_single_file 与 MotionAdapter 结合使用
diffusers>=0.30.0 支持通过 from_single_file 将 AnimateDiff 检查点以其原始格式加载到 MotionAdapter 中
from diffusers import MotionAdapter
ckpt_path = "https://huggingface.co/Lightricks/LongAnimateDiff/blob/main/lt_long_mm_32_frames.ckpt"
adapter = MotionAdapter.from_single_file(ckpt_path, torch_dtype=torch.float16)
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)AnimateDiffPipeline
class diffusers.AnimateDiffPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: Union motion_adapter: MotionAdapter scheduler: Union feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码为潜在表示形式，以及从潜在表示形式解码为图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。 - tokenizer (
CLIPTokenizer) — 用于标记文本的 CLIPTokenizer。 - unet (UNet2DConditionModel) — 一个 UNet2DConditionModel，用于创建 UNetMotionModel 以对编码的视频潜在空间进行去噪。
- motion_adapter (
MotionAdapter) — 一个MotionAdapter，与unet结合使用，以对编码的视频潜在空间进行去噪。 - scheduler (SchedulerMixin) — 一个调度器，与
unet结合使用，以对编码的图像潜在空间进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
用于文本到视频生成的管线。
此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管线实现的通用方法（下载、保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( prompt: Union = None num_frames: Optional = 16 height: Optional = None width: Optional = None num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: Union = None num_videos_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] decode_chunk_size: int = 16 **kwargs ) → AnimateDiffPipelineOutput or tuple
参数
- prompt (
str或List[str], 可选) — 用于引导图像生成的提示或提示列表。如果未定义，你需要传递prompt_embeds。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的高度，单位为像素。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的宽度，单位为像素。 - num_frames (
int, 可选, 默认为 16) — 生成的视频帧数。默认为 16 帧，以每秒 8 帧的速度计算，相当于 2 秒的视频。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的视频，但会牺牲推理速度。 - guidance_scale (
float, 可选, 默认为 7.5) — 较高的引导尺度值会鼓励模型生成与文本prompt紧密相关的图像，但会牺牲图像质量。当guidance_scale > 1时，引导尺度被启用。 - negative_prompt (
str或List[str], 可选) — 用于引导图像生成中不应包含的内容的提示或提示列表。如果未定义，你需要传递negative_prompt_embeds代替。当不使用引导（guidance_scale < 1）时忽略。 - eta (
float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成具有确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 从高斯分布中预生成的噪声潜在变量，用作视频生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则使用提供的随机generator采样生成潜在变量张量。潜在变量应具有形状(batch_size, num_channel, num_frames, height, width)。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor], 可选) — IP 适配器的预生成图像嵌入。它应该是一个列表，长度与 IP 适配器的数量相同。每个元素都应该是一个形状为(batch_size, num_images, emb_dim)的张量。如果do_classifier_free_guidance设置为True，则应包含负图像嵌入。如果未提供，则从ip_adapter_image输入参数计算嵌入。 - output_type (
str, 可选, 默认为"pil") — 生成视频的输出格式。在torch.Tensor,PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 TextToVideoSDPipelineOutput 而不是普通元组。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给self.processor中定义的AttentionProcessor。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。值为 1 表示预最终层的输出将用于计算提示嵌入。 - callback_on_step_end (
Callable, 可选) — 在推理期间的每个去噪步骤结束时调用的函数。该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含callback_on_step_end_tensor_inputs指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。你只能包含管道类的._callback_tensor_inputs属性中列出的变量。 - decode_chunk_size (
int, 默认为16) — 调用decode_latents方法时一次解码的帧数。
返回
AnimateDiffPipelineOutput 或 tuple
如果 return_dict 为 True, 则返回 AnimateDiffPipelineOutput，否则返回 tuple，其中第一个元素是包含生成帧的列表。
用于生成的管道调用函数。
示例
>>> import torch
>>> from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
>>> from diffusers.utils import export_to_gif
>>> adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
>>> pipe = AnimateDiffPipeline.from_pretrained("frankjoshua/toonyou_beta6", motion_adapter=adapter)
>>> pipe.scheduler = DDIMScheduler(beta_schedule="linear", steps_offset=1, clip_sample=False)
>>> output = pipe(prompt="A corgi walking in the park")
>>> frames = output.frames[0]
>>> export_to_gif(frames, "animation.gif")encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不用于引导图像生成的提示或提示列表。如果未定义，则必须传递negative_prompt_embeds。当不使用引导时（即，如果guidance_scale小于1时）将被忽略。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。值为 1 表示预倒数第二层的输出将用于计算提示嵌入。
将提示编码为文本编码器隐藏状态。
AnimateDiffControlNetPipeline
class diffusers.AnimateDiffControlNetPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: Union motion_adapter: MotionAdapter controlnet: Union scheduler: KarrasDiffusionSchedulers feature_extractor: Optional = None image_encoder: Optional = None )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码为潜在表示形式，以及从潜在表示形式解码为图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。 - tokenizer (
CLIPTokenizer) — 用于标记文本的 CLIPTokenizer。 - unet (UNet2DConditionModel) — 一个 UNet2DConditionModel，用于创建 UNetMotionModel 以去噪编码的视频潜在空间。
- motion_adapter (
MotionAdapter) — 一个MotionAdapter，与unet结合使用以去噪编码的视频潜在空间。 - scheduler (SchedulerMixin) — 调度器，与
unet结合使用以去噪编码的图像潜在空间。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
用于使用 ControlNet 引导的文本到视频生成的 Pipeline。
此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管线实现的通用方法（下载、保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( prompt: Union = None num_frames: Optional = 16 height: Optional = None width: Optional = None num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: Union = None num_videos_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Union = None conditioning_frames: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None controlnet_conditioning_scale: Union = 1.0 guess_mode: bool = False control_guidance_start: Union = 0.0 control_guidance_end: Union = 1.0 clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] decode_chunk_size: int = 16 ) → AnimateDiffPipelineOutput 或 tuple
参数
- prompt (
str或List[str], 可选) — 用于引导图像生成的提示或提示列表。如果未定义，则需要传递prompt_embeds。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的高度像素。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的宽度像素。 - num_frames (
int, 可选, 默认为 16) — 生成的视频帧数。默认为 16 帧，以每秒 8 帧的速度计算，相当于 2 秒的视频。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的视频，但会以较慢的推理速度为代价。 - guidance_scale (
float, 可选, 默认为 7.5) — 更高的 guidance scale 值会鼓励模型生成与文本prompt紧密相关的图像，但会以较低的图像质量为代价。当guidance_scale > 1时，guidance scale 生效。 - negative_prompt (
str或List[str], 可选) — 用于引导图像生成中不包含的内容的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds。当不使用引导时（guidance_scale < 1）将被忽略。 - eta (
float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中将被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成具有确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 预生成的噪声潜变量，从高斯分布中采样，用作视频生成的输入。可用于使用不同的提示调整相同的生成结果。如果未提供，则会通过使用提供的随机generator进行采样来生成潜变量张量。潜变量应具有形状(batch_size, num_channel, num_frames, height, width)。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则会从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则会从negative_prompt输入参数生成negative_prompt_embeds。 - ip_adapter_image (
PipelineImageInput, 可选) — 与 IP 适配器一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor], 可选) — IP 适配器的预生成图像嵌入。它应该是与 IP 适配器数量相同的列表。每个元素应为形状为(batch_size, num_images, emb_dim)的张量。如果do_classifier_free_guidance设置为True，则应包含负面图像嵌入。如果未提供，则从ip_adapter_image输入参数计算嵌入。 - conditioning_frames (
List[PipelineImageInput], 可选) — ControlNet 输入条件，为unet生成提供指导。如果指定了多个 ControlNet，则必须将图像作为列表传递，以便列表的每个元素都可以正确地批量处理，以输入到单个 ControlNet。 - output_type (
str, 可选, 默认为"pil") — 生成视频的输出格式。在torch.Tensor、PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 TextToVideoSDPipelineOutput 而不是普通元组。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给self.processor中定义的AttentionProcessor。 - controlnet_conditioning_scale (
float或List[float], 可选, 默认为 1.0) — ControlNet 的输出在添加到原始unet中的残差之前，会乘以controlnet_conditioning_scale。如果在init中指定了多个 ControlNet，则可以将相应的比例设置为列表。 - guess_mode (
bool, 可选, 默认为False) — 即使您删除了所有提示，ControlNet 编码器也会尝试识别输入图像的内容。建议guidance_scale值在 3.0 到 5.0 之间。 - control_guidance_start (
float或List[float], 可选, 默认为 0.0) — ControlNet 开始应用的占总步数的百分比。 - control_guidance_end (
float或List[float], 可选, 默认为 1.0) — ControlNet 停止应用的占总步数的百分比。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。值为 1 表示预最终层的输出将用于计算提示嵌入。 - callback_on_step_end (
Callable, 可选) — 在推理期间的每个去噪步骤结束时调用的函数。该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含由callback_on_step_end_tensor_inputs指定的所有张量的列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。您将只能包含在管道类的._callback_tensor_inputs属性中列出的变量。
返回
AnimateDiffPipelineOutput 或 tuple
如果 return_dict 为 True, 则返回 AnimateDiffPipelineOutput，否则返回 tuple，其中第一个元素是包含生成帧的列表。
用于生成的管道调用函数。
示例
encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示列表。如果未定义，则必须传递negative_prompt_embeds。不使用引导时忽略（即，如果guidance_scale小于1，则忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，将从negative_prompt输入参数生成 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层的 LoRA 比例。 - clip_skip (
int, 可选) — 在计算提示词嵌入时，从 CLIP 模型中跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示词嵌入。
将提示编码为文本编码器隐藏状态。
AnimateDiffSparseControlNetPipeline
class diffusers.AnimateDiffSparseControlNetPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: Union motion_adapter: MotionAdapter controlnet: SparseControlNetModel scheduler: KarrasDiffusionSchedulers feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )
参数
- vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示，以及从潜在表示解码为图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。 - tokenizer (
CLIPTokenizer) — 用于文本分词的 CLIPTokenizer。 - unet (UNet2DConditionModel) — UNet2DConditionModel，用于创建 UNetMotionModel 以对编码后的视频潜在空间进行去噪。
- motion_adapter (
MotionAdapter) — 与unet结合使用的MotionAdapter，用于对编码后的视频潜在空间进行去噪。 - scheduler (SchedulerMixin) — 与
unet结合使用的调度器，用于对编码后的图像潜在空间进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
使用 SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models 中描述的方法进行可控文本到视频生成的管线。
此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管线实现的通用方法（下载、保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( prompt: Union = None height: Optional = None width: Optional = None num_frames: int = 16 num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: Union = None num_videos_per_prompt: int = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None conditioning_frames: Optional = None output_type: str = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None controlnet_conditioning_scale: Union = 1.0 controlnet_frame_indices: List = [0] guess_mode: bool = False clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] ) → AnimateDiffPipelineOutput 或 tuple
参数
- prompt (
str或List[str], 可选) — 用于引导图像生成的提示词或提示词列表。 如果未定义，则需要传入prompt_embeds。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的高度像素值。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的宽度像素值。 - num_frames (
int, 可选, 默认为 16) — 生成的视频帧数。 默认为 16 帧，以每秒 8 帧的速度计算，相当于 2 秒的视频。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步骤的数量。 更多的去噪步骤通常会生成更高质量的视频，但会以较慢的推理速度为代价。 - guidance_scale (
float, 可选, 默认为 7.5) — 较高的 guidance scale 值会鼓励模型生成与文本prompt紧密相关的图像，但会牺牲图像质量。 当guidance_scale > 1时，将启用 guidance scale。 - negative_prompt (
str或List[str], 可选) — 用于引导图像生成中不应包含的内容的提示词或提示词列表。 如果未定义，则需要传入negative_prompt_embeds。 当不使用 guidance 时 (guidance_scale < 1)，此参数将被忽略。 - eta (
float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。 仅适用于 DDIMScheduler，在其他调度器中将被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成过程具有确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 预生成的噪声潜在变量，从高斯分布中采样，用作视频生成的输入。 可以用于通过不同的提示词调整相同的生成结果。 如果未提供，则将通过使用提供的随机generator进行采样来生成潜在变量张量。 潜在变量应为形状(batch_size, num_channel, num_frames, height, width)。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可以用于轻松调整文本输入（提示词权重）。 如果未提供，则会从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可以用于轻松调整文本输入（提示词权重）。 如果未提供，则会从negative_prompt输入参数生成negative_prompt_embeds。 ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor], 可选) — IP-Adapter 的预生成图像嵌入。它应该是一个列表，长度与 IP-Adapter 的数量相同。每个元素都应该是形状为(batch_size, num_images, emb_dim)的张量。如果do_classifier_free_guidance设置为True，则应包含负图像嵌入。如果未提供，则嵌入将从ip_adapter_image输入参数计算。 - conditioning_frames (
List[PipelineImageInput], 可选) — 用于为生成过程中的unet提供引导的 SparseControlNet 输入。 - output_type (
str, 可选, 默认为"pil") — 生成视频的输出格式。 从torch.Tensor、PIL.Image或np.array中选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 TextToVideoSDPipelineOutput 而不是纯元组。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给self.processor中定义的AttentionProcessor。 - controlnet_conditioning_scale (
float或List[float], 可选, 默认为 1.0) — ControlNet 的输出在添加到原始unet中的残差之前，会乘以controlnet_conditioning_scale。 如果在init中指定了多个 ControlNet，则可以将相应的比例设置为列表。 - controlnet_frame_indices (
List[int]) — 必须应用条件帧以进行生成的索引。 可以提供多个帧来引导模型生成相似的结构输出，其中unet可以为插值视频“填补空白”，或者可以为一般预期结构提供单个帧。 必须与conditioning_frames的长度相同。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。 值 1 表示预最终层的输出将用于计算提示嵌入。 - callback_on_step_end (
Callable, 可选) — 在推理期间，在每个去噪步骤结束时调用的函数。 该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含callback_on_step_end_tensor_inputs指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。 列表中指定的张量将作为callback_kwargs参数传递。 您将只能包含管道类._callback_tensor_inputs属性中列出的变量。
返回
AnimateDiffPipelineOutput 或 tuple
如果 return_dict 为 True, 则返回 AnimateDiffPipelineOutput，否则返回 tuple，其中第一个元素是包含生成帧的列表。
用于生成的管道调用函数。
示例
>>> import torch
>>> from diffusers import AnimateDiffSparseControlNetPipeline
>>> from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
>>> from diffusers.schedulers import DPMSolverMultistepScheduler
>>> from diffusers.utils import export_to_gif, load_image
>>> model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
>>> motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
>>> controlnet_id = "guoyww/animatediff-sparsectrl-scribble"
>>> lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
>>> vae_id = "stabilityai/sd-vae-ft-mse"
>>> device = "cuda"
>>> motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, torch_dtype=torch.float16).to(device)
>>> controlnet = SparseControlNetModel.from_pretrained(controlnet_id, torch_dtype=torch.float16).to(device)
>>> vae = AutoencoderKL.from_pretrained(vae_id, torch_dtype=torch.float16).to(device)
>>> scheduler = DPMSolverMultistepScheduler.from_pretrained(
... model_id,
... subfolder="scheduler",
... beta_schedule="linear",
... algorithm_type="dpmsolver++",
... use_karras_sigmas=True,
... )
>>> pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
... model_id,
... motion_adapter=motion_adapter,
... controlnet=controlnet,
... vae=vae,
... scheduler=scheduler,
... torch_dtype=torch.float16,
... ).to(device)
>>> pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")
>>> pipe.fuse_lora(lora_scale=1.0)
>>> prompt = "an aerial view of a cyberpunk city, night time, neon lights, masterpiece, high quality"
>>> negative_prompt = "low quality, worst quality, letterboxed"
>>> image_files = [
... "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-1.png",
... "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-2.png",
... "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-3.png",
... ]
>>> condition_frame_indices = [0, 8, 15]
>>> conditioning_frames = [load_image(img_file) for img_file in image_files]
>>> video = pipe(
... prompt=prompt,
... negative_prompt=negative_prompt,
... num_inference_steps=25,
... conditioning_frames=conditioning_frames,
... controlnet_conditioning_scale=1.0,
... controlnet_frame_indices=condition_frame_indices,
... generator=torch.Generator().manual_seed(1337),
... ).frames[0]
>>> export_to_gif(video, "output.gif")encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示列表。 如果未定义，则必须改为传递negative_prompt_embeds。 当不使用引导时忽略（即，如果guidance_scale小于1则忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层的 LoRA 比例。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。 值 1 表示预最终层的输出将用于计算提示嵌入。
将提示编码为文本编码器隐藏状态。
AnimateDiffSDXLPipeline
class diffusers.AnimateDiffSDXLPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: Union motion_adapter: MotionAdapter scheduler: Union image_encoder: CLIPVisionModelWithProjection = None feature_extractor: CLIPImageProcessor = None force_zeros_for_empty_prompt: bool = True )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码为潜在表示和从潜在表示解码图像。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器。 Stable Diffusion XL 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。 - text_encoder_2 (
CLIPTextModelWithProjection) — 第二个冻结的文本编码器。 Stable Diffusion XL 使用 CLIP 的文本和池化部分，特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。 - tokenizer (
CLIPTokenizer) — 类 CLIPTokenizer 的分词器。 - tokenizer_2 (
CLIPTokenizer) — 类 CLIPTokenizer 的第二个分词器。 - unet (UNet2DConditionModel) — 条件 U-Net 架构，用于对编码的图像潜在空间进行去噪。
- scheduler (SchedulerMixin) — 调度器，与
unet结合使用，以对编码的图像潜在空间进行去噪。 可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - force_zeros_for_empty_prompt (
bool, optional, defaults to"True") — 是否强制将负面提示词的嵌入始终设置为 0。另请参阅stabilityai/stable-diffusion-xl-base-1-0的配置。
用于使用 Stable Diffusion XL 进行文本到视频生成的 Pipeline。
此模型继承自 DiffusionPipeline。查看超类文档，了解库为所有 pipelines 实现的通用方法（例如下载或保存，在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- from_single_file() 用于加载
.ckpt文件 - load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( prompt: Union = None prompt_2: Union = None num_frames: int = 16 height: Optional = None width: Optional = None num_inference_steps: int = 50 timesteps: List = None sigmas: List = None denoising_end: Optional = None guidance_scale: float = 5.0 negative_prompt: Union = None negative_prompt_2: Union = None num_videos_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None pooled_prompt_embeds: Optional = None negative_pooled_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None guidance_rescale: float = 0.0 original_size: Optional = None crops_coords_top_left: Tuple = (0, 0) target_size: Optional = None negative_original_size: Optional = None negative_crops_coords_top_left: Tuple = (0, 0) negative_target_size: Optional = None clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] ) → AnimateDiffPipelineOutput or tuple
参数
- prompt (
strorList[str], optional) — 用于引导视频生成的提示或提示列表。如果未定义，则必须传递prompt_embeds。 - prompt_2 (
strorList[str], optional) — 要发送到tokenizer_2和text_encoder_2的提示或提示列表。如果未定义，则prompt将在两个文本编码器中都使用。num_frames — 生成的视频帧数。默认为 16 帧，以每秒 8 帧的速度计算，相当于 2 秒的视频。 - height (
int, optional, defaults to self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的高度像素。默认设置为 1024 以获得最佳效果。对于 stabilityai/stable-diffusion-xl-base-1.0 以及未针对低分辨率进行微调的 checkpoints，任何低于 512 像素的值都无法正常工作。 - width (
int, optional, defaults to self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的宽度像素。默认设置为 1024 以获得最佳效果。对于 stabilityai/stable-diffusion-xl-base-1.0 以及未针对低分辨率进行微调的 checkpoints，任何低于 512 像素的值都无法正常工作。 - num_inference_steps (
int, optional, defaults to 50) — 去噪步骤的数量。更多去噪步骤通常会以较慢的推理速度为代价，带来更高质量的视频。 - timesteps (
List[int], optional) — 用于支持在其set_timesteps方法中使用timesteps参数的 schedulers 的自定义时间步长。如果未定义，则将使用传递num_inference_steps时的默认行为。必须按降序排列。 - sigmas (
List[float], optional) — 用于支持在其set_timesteps方法中使用sigmas参数的 schedulers 的自定义 sigmas。如果未定义，则将使用传递num_inference_steps时的默认行为。 - denoising_end (
float, optional) — 指定后，确定在有意提前终止之前要完成的总去噪过程的分数（介于 0.0 和 1.0 之间）。因此，返回的样本仍将保留大量噪声，这由调度程序选择的离散时间步长决定。当此 pipeline 构成“去噪器混合”多 pipeline 设置的一部分时，应理想地使用 denoising_end 参数，如 优化图像输出 中所述 - guidance_scale (
float, optional, defaults to 5.0) — Classifier-Free Diffusion Guidance 中定义的 Guidance scale。guidance_scale定义为 Imagen Paper 的公式 2 中的w。通过设置guidance_scale > 1启用 Guidance scale。较高的 guidance scale 鼓励生成与文本prompt紧密相关的图像，通常以降低视频质量为代价。 - negative_prompt (
strorList[str], optional) — 不用于引导视频生成的提示或提示列表。如果未定义，则必须传递negative_prompt_embeds。当不使用 guidance 时忽略（即，如果guidance_scale小于1则忽略）。 - negative_prompt_2 (
strorList[str], optional) — 不用于引导视频生成的提示或提示列表，将被发送到tokenizer_2和text_encoder_2。如果未定义，则negative_prompt将在两个文本编码器中都使用 - num_videos_per_prompt (
int, optional, defaults to 1) — 每个提示要生成的视频数量。 - eta (
float, optional, defaults to 0.0) — 对应于 DDIM 论文中的参数 eta (η)：https://arxiv.org/abs/2010.02502。仅适用于 schedulers.DDIMScheduler，对于其他调度器将被忽略。 - generator (
torch.GeneratororList[torch.Generator], optional) — 用于使生成具有确定性的一个或一组 torch generator(s)。 - latents (
torch.Tensor, optional) — 预生成的噪声 latents，从高斯分布中采样，用作视频生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，latents 张量将通过使用提供的随机generator进行采样来生成。 - prompt_embeds (
torch.Tensor, optional) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示词权重。如果未提供，将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, optional) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示词权重。如果未提供，将从negative_prompt输入参数生成 negative_prompt_embeds。 - pooled_prompt_embeds (
torch.Tensor, optional) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如 提示词权重。如果未提供，将从prompt输入参数生成池化文本嵌入。 - negative_pooled_prompt_embeds (
torch.Tensor, optional) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如 提示词权重。如果未提供，将从negative_prompt输入参数生成池化 negative_prompt_embeds。 ip_adapter_image — (PipelineImageInput, optional): 与 IP Adapters 一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor], optional) — IP-Adapter 的预生成图像嵌入。如果未提供，则从ip_adapter_image输入参数计算嵌入。 - output_type (
str, 可选, 默认为"pil") — 生成视频的输出格式。 从 PIL:PIL.Image.Image或np.array中选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回~pipelines.stable_diffusion_xl.AnimateDiffPipelineOutput而不是普通的元组。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给在 diffusers.models.attention_processor 中self.processor下定义的AttentionProcessor。 - guidance_rescale (
float, 可选, 默认为 0.0) — 由 Common Diffusion Noise Schedules and Sample Steps are Flawed 提出的 Guidance rescale 因子。guidance_scale在 Common Diffusion Noise Schedules and Sample Steps are Flawed 的公式 16 中被定义为φ。当使用零终端信噪比时，Guidance rescale 因子应修复过度曝光。 - original_size (
Tuple[int], 可选, 默认为 (1024, 1024)) — 如果original_size与target_size不同，则图像将显示为缩小或放大。如果未指定，则original_size默认为(height, width)。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 - crops_coords_top_left (
Tuple[int], 可选, 默认为 (0, 0)) —crops_coords_top_left可用于生成看起来像是从位置crops_coords_top_left向下“裁剪”的图像。 通常，通过将crops_coords_top_left设置为 (0, 0) 可以获得良好且居中的图像。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 - target_size (
Tuple[int], 可选, 默认为 (1024, 1024)) — 对于大多数情况，target_size应设置为生成图像所需的 height 和 width。 如果未指定，则默认为(height, width)。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 - negative_original_size (
Tuple[int], 可选, 默认为 (1024, 1024)) — 为了基于特定的图像分辨率对生成过程进行负面调节。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 有关更多信息，请参阅此问题线程： https://github.com/huggingface/diffusers/issues/4208。 - negative_crops_coords_top_left (
Tuple[int], 可选, 默认为 (0, 0)) — 为了基于特定的裁剪坐标对生成过程进行负面调节。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 有关更多信息，请参阅此问题线程： https://github.com/huggingface/diffusers/issues/4208。 - negative_target_size (
Tuple[int], 可选, 默认为 (1024, 1024)) — 为了基于目标图像分辨率对生成过程进行负面调节。 在大多数情况下，它应与target_size相同。 作为 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节中所述。 有关更多信息，请参阅此问题线程： https://github.com/huggingface/diffusers/issues/4208。 - callback_on_step_end (
Callable, 可选) — 在推理期间，在每个去噪步骤结束时调用的函数。 该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含由callback_on_step_end_tensor_inputs指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。 列表中指定的张量将作为callback_kwargs参数传递。 您将只能包含在管道类的._callback_tensor_inputs属性中列出的变量。
返回
AnimateDiffPipelineOutput 或 tuple
如果 return_dict 为 True, 则返回 AnimateDiffPipelineOutput，否则返回 tuple，其中第一个元素是包含生成帧的列表。
调用管道进行生成时调用的函数。
示例
>>> import torch
>>> from diffusers.models import MotionAdapter
>>> from diffusers import AnimateDiffSDXLPipeline, DDIMScheduler
>>> from diffusers.utils import export_to_gif
>>> adapter = MotionAdapter.from_pretrained(
... "a-r-r-o-w/animatediff-motion-adapter-sdxl-beta", torch_dtype=torch.float16
... )
>>> model_id = "stabilityai/stable-diffusion-xl-base-1.0"
>>> scheduler = DDIMScheduler.from_pretrained(
... model_id,
... subfolder="scheduler",
... clip_sample=False,
... timestep_spacing="linspace",
... beta_schedule="linear",
... steps_offset=1,
... )
>>> pipe = AnimateDiffSDXLPipeline.from_pretrained(
... model_id,
... motion_adapter=adapter,
... scheduler=scheduler,
... torch_dtype=torch.float16,
... variant="fp16",
... ).to("cuda")
>>> # enable memory savings
>>> pipe.enable_vae_slicing()
>>> pipe.enable_vae_tiling()
>>> output = pipe(
... prompt="a panda surfing in the ocean, realistic, high quality",
... negative_prompt="low quality, worst quality",
... num_inference_steps=20,
... guidance_scale=8,
... width=1024,
... height=1024,
... num_frames=16,
... )
>>> frames = output.frames[0]
>>> export_to_gif(frames, "animation.gif")encode_prompt
< source >( prompt: str prompt_2: Optional = None device: Optional = None num_videos_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: Optional = None negative_prompt_2: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None pooled_prompt_embeds: Optional = None negative_pooled_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 - prompt_2 (
str或List[str], 可选) — 要发送到tokenizer_2和text_encoder_2的提示。 如果未定义，则prompt将在两个文本编码器中使用 device — (torch.device): torch 设备 - num_videos_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示。 如果未定义，则必须传递negative_prompt_embeds代替。 当不使用引导时忽略（即，如果guidance_scale小于1，则忽略）。 - negative_prompt_2 (
str或List[str], 可选) — 不引导图像生成的提示，将发送到tokenizer_2和text_encoder_2。 如果未定义，则negative_prompt将在两个文本编码器中使用 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - pooled_prompt_embeds (
torch.Tensor, 可选) — 预生成的池化文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从prompt输入参数生成池化文本嵌入。 - negative_pooled_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面池化文本嵌入。 可用于轻松调整文本输入，例如 提示权重。 如果未提供，则将从negative_prompt输入参数生成池化的 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层的 lora 缩放比例。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。 值 1 表示预最终层的输出将用于计算提示嵌入。
将提示编码为文本编码器隐藏状态。
get_guidance_scale_embedding
< source >( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor
AnimateDiffVideoToVideoPipeline
class diffusers.AnimateDiffVideoToVideoPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel motion_adapter: MotionAdapter scheduler: Union feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )
参数
- vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示及其反向过程。
- text_encoder (
CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。 - tokenizer (
CLIPTokenizer) — 用于标记文本的 CLIPTokenizer。 - unet (UNet2DConditionModel) — A UNet2DConditionModel 用于创建 UNetMotionModel 以去噪编码的视频潜在空间。
- motion_adapter (
MotionAdapter) — 一个MotionAdapter，与unet结合使用以去噪编码的视频潜在空间。 - scheduler (SchedulerMixin) — 调度器，与
unet结合使用以去噪编码的图像潜在空间。可以是 DDIMScheduler、 LMSDiscreteScheduler 或 PNDMScheduler 之一。
视频到视频生成的 Pipeline。
此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管线实现的通用方法（下载、保存、在特定设备上运行等）。
该管线还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( video: List = None prompt: Union = None height: Optional = None width: Optional = None num_inference_steps: int = 50 timesteps: Optional = None sigmas: Optional = None guidance_scale: float = 7.5 strength: float = 0.8 negative_prompt: Union = None num_videos_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] decode_chunk_size: int = 16 ) → pipelines.animatediff.pipeline_output.AnimateDiffPipelineOutput or tuple
参数
- video (
List[PipelineImageInput]) — 作为生成条件的输入视频。必须是视频的图像/帧列表。 - prompt (
str或List[str], 可选) — 用于引导图像生成的提示或提示列表。如果未定义，则需要传递prompt_embeds。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的高度像素。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成视频的宽度像素。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的视频，但会牺牲更慢的推理速度。 - timesteps (
List[int], 可选) — 自定义时间步长，用于支持在其set_timesteps方法中使用timesteps参数的调度器进行去噪过程。如果未定义，则将使用传递num_inference_steps时的默认行为。必须以降序排列。 - sigmas (
List[float], 可选) — 自定义 sigmas，用于支持在其set_timesteps方法中使用sigmas参数的调度器进行去噪过程。如果未定义，则将使用传递num_inference_steps时的默认行为。 - strength (
float, 可选, 默认为 0.8) — 更高的 strength 值会导致原始视频和生成的视频之间有更多差异。 - guidance_scale (
float, 可选, 默认为 7.5) — 更高的 guidance scale 值会鼓励模型生成与文本prompt紧密相关的图像，但会降低图像质量。当guidance_scale > 1时，guidance scale 启用。 - negative_prompt (
str或List[str], 可选) — 用于引导图像生成中不应包含的内容的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds代替。当不使用 guidance 时（guidance_scale < 1），将被忽略。 - eta (
float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中将被忽略。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则文本嵌入会从prompt输入参数生成。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则negative_prompt_embeds会从negative_prompt输入参数生成。 ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor], 可选) — IP-Adapter 的预生成图像嵌入。它应该是一个列表，长度与 IP 适配器的数量相同。每个元素都应该是形状为(batch_size, num_images, emb_dim)的张量。如果do_classifier_free_guidance设置为True，则应包含负面图像嵌入。如果未提供，则嵌入会从ip_adapter_image输入参数计算得出。 - output_type (
str, 可选, 默认为"pil") — 生成视频的输出格式。在torch.Tensor、PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回AnimateDiffPipelineOutput而不是纯元组。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给self.processor中定义的AttentionProcessor。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。值为 1 表示预最终层的输出将用于计算提示嵌入。 - callback_on_step_end (
Callable, 可选) — 一个在推理期间每个去噪步骤结束时调用的函数。该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含callback_on_step_end_tensor_inputs指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。您将只能包含管道类的._callback_tensor_inputs属性中列出的变量。 - decode_chunk_size (
int, 默认为16) — 调用decode_latents方法时一次解码的帧数。
如果 return_dict 为 True，则返回 pipelines.animatediff.pipeline_output.AnimateDiffPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成帧的列表。
用于生成的管道调用函数。
示例
encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示列表。如果未定义，则必须传递negative_prompt_embeds。当不使用引导时忽略（即，如果guidance_scale小于1则忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则将从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则将从negative_prompt输入参数生成 negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层的 LoRA 缩放比例。 - clip_skip (
int, 可选) — 从 CLIP 中跳过的层数，用于计算提示嵌入。值为 1 表示预最终层的输出将用于计算提示嵌入。
将提示编码为文本编码器隐藏状态。
AnimateDiffPipelineOutput
class diffusers.pipelines.animatediff.AnimateDiffPipelineOutput
< source >( frames: Union )
AnimateDiff 管道的输出类。
PIL 图像序列，长度为 num_frames。它也可以是形状为 (batch_size, num_frames, channels, height, width) 的 NumPy 数组或 Torch 张量