Hugging Face 的徽标

Diffusers 文档

文本转视频

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

🧪 此管道仅供研究目的。

文生视频

ModelScope 文生视频技术报告 由王九牛、袁航杰、陈大友、张颖雅、王翔、张世伟撰写。

论文摘要如下

本文介绍了 ModelScopeT2V，这是一个从文生图模型（即稳定扩散）演变而来的文生视频合成模型。ModelScopeT2V 结合了时空块，以确保一致的帧生成和平滑的运动过渡。该模型可以在训练和推理过程中适应不同的帧数，使其适用于图像文本和视频文本数据集。ModelScopeT2V 整合了三个组件（即 VQGAN、文本编码器和去噪 UNet），总共包含 17 亿个参数，其中 5 亿个参数专用于时态功能。该模型在三个评估指标上展示了优于最先进方法的性能。代码和在线演示可在 https://modelscope.cn/models/damo/text-to-video-synthesis/summary 找到。

您可以在项目页面、原始代码库上找到有关文本到视频的更多信息，并在演示中试用它。官方检查点可在damo-vilab和cerspense找到。

使用示例

text-to-video-ms-1.7b

让我们从生成一个长度为 16 帧（8 帧/秒下为 2 秒）的短视频开始

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe = pipe.to("cuda")

prompt = "Spiderman is surfing"
video_frames = pipe(prompt).frames[0]
video_path = export_to_video(video_frames)
video_path

Diffusers 支持不同的优化技术来改善管道的延迟和内存占用。由于视频通常比图像更占内存，我们可以启用 CPU 卸载和 VAE 切片来控制内存占用。

让我们使用 CPU 卸载和 VAE 切片在同一 GPU 上生成一个 8 秒（64 帧）的视频

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe.enable_model_cpu_offload()

# memory optimization
pipe.enable_vae_slicing()

prompt = "Darth Vader surfing a wave"
video_frames = pipe(prompt, num_frames=64).frames[0]
video_path = export_to_video(video_frames)
video_path

使用 PyTorch 2.0、"fp16" 精度和上述技术，只需 **7 GB 的 GPU 内存** 即可生成 64 个视频帧。

我们也可以轻松使用不同的调度器，使用与 Stable Diffusion 相同的方法

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Spiderman is surfing"
video_frames = pipe(prompt, num_inference_steps=25).frames[0]
video_path = export_to_video(video_frames)
video_path

以下是一些示例输出

一名宇航员骑着一匹马。
An astronaut riding a horse.
达斯·维达在海浪中冲浪。
Darth vader surfing in waves.

cerspense/zeroscope_v2_576w & cerspense/zeroscope_v2_XL

Zeroscope 是无水印模型，已针对特定尺寸进行训练，例如 576x320 和 1024x576。首先应使用较低分辨率检查点 cerspense/zeroscope_v2_576w 和 TextToVideoSDPipeline 生成视频，然后可以使用 VideoToVideoSDPipeline 和 cerspense/zeroscope_v2_XL 对其进行上采样。

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video
from PIL import Image

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()

# memory optimization
pipe.unet.enable_forward_chunking(chunk_size=1, dim=1)
pipe.enable_vae_slicing()

prompt = "Darth Vader surfing a wave"
video_frames = pipe(prompt, num_frames=24).frames[0]
video_path = export_to_video(video_frames)
video_path

现在可以对视频进行上采样

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_XL", torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

# memory optimization
pipe.unet.enable_forward_chunking(chunk_size=1, dim=1)
pipe.enable_vae_slicing()

video = [Image.fromarray(frame).resize((1024, 576)) for frame in video_frames]

video_frames = pipe(prompt, video=video, strength=0.6).frames[0]
video_path = export_to_video(video_frames)
video_path

以下是一些示例输出

达斯·维达在海浪中冲浪。
Darth vader surfing in waves.

提示

视频生成是内存密集型操作，减少内存使用的一种方法是将 enable_forward_chunking 设置为管道上的 UNet，这样您就不会一次运行整个前馈层。将其拆分为循环中的块更高效。

查看 文本或图像到视频 指南，以详细了解某些参数如何影响视频生成以及如何通过减少内存使用来优化推理。

请务必查看调度器 指南，了解如何探索调度器速度和质量之间的权衡，并查看 在管道之间重复使用组件 部分，了解如何有效地将相同组件加载到多个管道中。

TextToVideoSDPipeline

class diffusers.TextToVideoSDPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet3DConditionModel scheduler: KarrasDiffusionSchedulers )

参数

用于文本到视频生成的管道。

此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

该管道还继承以下加载方法

__call__

< >

( prompt: Union = None height: Optional = None width: Optional = None num_frames: int = 16 num_inference_steps: int = 50 guidance_scale: float = 9.0 negative_prompt: Union = None eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None output_type: Optional = 'np' return_dict: bool = True callback: Optional = None callback_steps: int = 1 cross_attention_kwargs: Optional = None clip_skip: Optional = None ) → TextToVideoSDPipelineOutput or tuple

参数

  • prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。如果未定义，则需要传递 prompt_embeds。
  • height (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的视频的高度（以像素为单位）。
  • width (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的视频的宽度（以像素为单位）。
  • num_frames (int, 可选，默认为 16) — 生成的视频帧数。默认为 16 帧，在 8 帧/秒的情况下，相当于 2 秒的视频。
  • num_inference_steps (int, 可选，默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高质量的视频，但会牺牲推理速度。
  • guidance_scale (float, 可选，默认为 7.5) — 较高的引导尺度值鼓励模型生成与文本 prompt 密切相关的图像，但会牺牲图像质量。当 guidance_scale > 1 时，启用引导尺度。
  • negative_prompt (str 或 List[str], 可选) — 用于指导图像生成中不应包含的内容的提示或提示。 如果未定义，您需要改为传递 negative_prompt_embeds。 当不使用指导（guidance_scale < 1）时忽略。
  • num_images_per_prompt (int, 可选，默认为 1) — 每个提示生成的图像数量。
  • eta (float, 可选，默认为 0.0) — 对应于来自 DDIM 论文的 eta (η) 参数。 仅适用于 DDIMScheduler，在其他调度器中被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成确定性的 torch.Generator。
  • latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜码，用作视频生成的输入。 可用于使用不同的提示调整相同的生成。 如果未提供，则通过使用提供的随机 generator 采样来生成潜码张量。 潜码应为 (batch_size, num_channel, num_frames, height, width) 形状。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • output_type (str, 可选，默认为 "np") — 生成的视频的输出格式。 在 torch.Tensor 或 np.array 之间选择。
  • return_dict (bool, 可选，默认为 True) — 是否返回 TextToVideoSDPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 在推理过程中每 callback_steps 步调用一次的函数。 该函数使用以下参数调用： callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int, 可选, 默认值为 1) — callback 函数调用的频率。如果未指定，则回调函数在每一步都会被调用。
  • cross_attention_kwargs (dict, 可选) — 如果指定，则传递给 self.processor 中定义的 AttentionProcessor 的关键字参数字典。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。

返回值

TextToVideoSDPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 TextToVideoSDPipelineOutput，否则返回 tuple，其中第一个元素是包含生成的帧的列表。

管道用于生成时调用的函数。

示例

>>> import torch
>>> from diffusers import TextToVideoSDPipeline
>>> from diffusers.utils import export_to_video

>>> pipe = TextToVideoSDPipeline.from_pretrained(
...     "damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16"
... )
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Spiderman is surfing"
>>> video_frames = pipe(prompt).frames[0]
>>> video_path = export_to_video(video_frames)
>>> video_path

encode_prompt

< >

( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )

参数

  • prompt (str 或 List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示应该生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用 classifier free guidance
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时忽略（即，如果 guidance_scale 小于 1，则忽略）。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则将从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。 可用于轻松调整文本输入，例如提示权重。 如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 在计算提示嵌入时要从 CLIP 中跳过的层数。 值 1 表示将使用倒数第二层的输出来计算提示嵌入。

将提示编码为文本编码器隐藏状态。

VideoToVideoSDPipeline

类 diffusers.VideoToVideoSDPipeline

 < >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet3DConditionModel scheduler: KarrasDiffusionSchedulers )

参数

用于文本引导的视频到视频生成的管道。

此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

该管道还继承以下加载方法

__call__

TextToVideoSDPipelineOutput or tuple

参数

  • prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。 如果未定义，您需要传递 prompt_embeds。
  • video (List[np.ndarray] 或 torch.Tensor) — 代表视频批次的 video 帧或张量，用作流程的起点。 也可以接受视频潜伏作为 image，如果直接传递潜伏，则不会再次编码。
  • strength (float, 可选，默认为 0.8) — 指示变换参考 video 的程度。 必须介于 0 和 1 之间。 video 用作起点，对其添加更多噪声，strength 越大。 降噪步骤的数量取决于最初添加的噪声量。 当 strength 为 1 时，添加的噪声最大，降噪过程在 num_inference_steps 中指定的完整迭代次数内运行。 值为 1 本质上会忽略 video。
  • num_inference_steps (int, 可选，默认为 50) — 降噪步骤的数量。 更多的降噪步骤通常会导致更高质量的视频，但会以更慢的推理为代价。
  • guidance_scale (float, 可选，默认为 7.5) — 更高的引导比例值鼓励模型生成与文本 prompt 密切相关的图像，但会以降低图像质量为代价。 当 guidance_scale > 1 时启用引导比例。
  • negative_prompt (str 或 List[str], 可选) — 指导视频生成中不包含内容的提示或提示。 如果未定义，您需要传递 negative_prompt_embeds 而不是。 当不使用引导时（guidance_scale < 1）忽略。
  • eta (float, 可选，默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。 仅适用于 DDIMScheduler，并在其他调度器中被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator，用于使生成确定性。
  • latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜伏变量，用作视频生成的输入。 可用于使用不同的提示调整相同的生成。 如果未提供，则通过使用提供的随机 generator 采样来生成潜伏变量张量。 潜伏变量应为 (batch_size, num_channel, num_frames, height, width) 形状。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入（提示权重）。 如果未提供，则从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入（提示权重）。 如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • output_type (str, 可选，默认值为 "np") — 生成的视频的输出格式。 在 torch.Tensor 或 np.array 之间选择。
  • return_dict (bool, 可选，默认值为 True) — 是否返回 TextToVideoSDPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 在推理过程中每 callback_steps 步调用一次的函数。 该函数使用以下参数调用： callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int, 可选，默认值为 1) — 调用 callback 函数的频率。 如果未指定，则在每一步都调用回调。
  • cross_attention_kwargs (dict, 可选) — 如果指定，将传递给 AttentionProcessor 的 kwargs 字典，如 self.processor 中所定义。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。 值为 1 表示将使用倒数第二层的输出计算提示嵌入。

返回值

TextToVideoSDPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 TextToVideoSDPipelineOutput，否则返回 tuple，其中第一个元素是包含生成的帧的列表。

管道用于生成时调用的函数。

示例

>>> import torch
>>> from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
>>> from diffusers.utils import export_to_video

>>> pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
>>> pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
>>> pipe.to("cuda")

>>> prompt = "spiderman running in the desert"
>>> video_frames = pipe(prompt, num_inference_steps=40, height=320, width=576, num_frames=24).frames[0]
>>> # safe low-res video
>>> video_path = export_to_video(video_frames, output_video_path="./video_576_spiderman.mp4")

>>> # let's offload the text-to-image model
>>> pipe.to("cpu")

>>> # and load the image-to-image model
>>> pipe = DiffusionPipeline.from_pretrained(
...     "cerspense/zeroscope_v2_XL", torch_dtype=torch.float16, revision="refs/pr/15"
... )
>>> pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
>>> pipe.enable_model_cpu_offload()

>>> # The VAE consumes A LOT of memory, let's make sure we run it in sliced mode
>>> pipe.vae.enable_slicing()

>>> # now let's upscale it
>>> video = [Image.fromarray(frame).resize((1024, 576)) for frame in video_frames]

>>> # and denoise it
>>> video_frames = pipe(prompt, video=video, strength=0.6).frames[0]
>>> video_path = export_to_video(video_frames, output_video_path="./video_1024_spiderman.mp4")
>>> video_path

encode_prompt

< >

( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )

参数

  • num_images_per_prompt (int) — 每个提示应该生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器免费引导
  • negative_prompt (str 或 List[str], 可选) — 不应引导图像生成的提示或提示。 如果未定义，则必须传递 negative_prompt_embeds 代替。 在不使用引导的情况下忽略（即，如果 guidance_scale 小于 1，则忽略）。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入，例如 提示加权。 如果未提供，文本嵌入将从 prompt 输入参数生成。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入，例如 提示加权。 如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。 值 1 意味着将使用倒数第二层的输出来计算提示嵌入。

将提示编码为文本编码器隐藏状态。

TextToVideoSDPipelineOutput

class diffusers.pipelines.text_to_video_synthesis.TextToVideoSDPipelineOutput

 < >

( frames: Union )

参数

  • frames (torch.Tensor, np.ndarray, 或 List[List[PIL.Image.Image]]) — 视频输出列表 - 它可以是长度为 batch_size 的嵌套列表，每个子列表包含去噪

文本到视频管道输出类。

长度为 num_frames 的 PIL 图像序列。 它也可以是形状为 (batch_size, num_frames, channels, height, width) 的 NumPy 数组或 Torch 张量。

< > 在 GitHub 上更新