Diffusers

( )

启用融合的 QKV 投影。

unfuse_qkv_projections

( )

如果启用了 QKV 投影融合，则禁用它。

CogVideoXImageToVideoPipeline

class diffusers.CogVideoXImageToVideoPipeline

参数

vae (AutoencoderKL) — 变分自编码器（VAE）模型，用于将视频编码和解码为潜在表示。
text_encoder (T5EncoderModel) — 冻结文本编码器。CogVideoX 使用 T5；特别是 t5-v1_1-xxl 变体。
tokenizer (T5Tokenizer) — T5Tokenizer 类的分词器。
transformer (CogVideoXTransformer3DModel) — 用于对编码视频潜在表示进行去噪的文本条件 CogVideoXTransformer3DModel。
scheduler (SchedulerMixin) — 与 transformer 结合使用的调度器，用于对编码视频潜在表示进行去噪。

使用 CogVideoX 进行图像到视频生成的管道。

此模型继承自DiffusionPipeline。请查阅超类文档，了解库为所有管道实现通用方法（例如下载或保存、在特定设备上运行等）。

call

( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt: typing.Union[str, typing.List[str], NoneType] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_frames: int = 49 num_inference_steps: int = 50 timesteps: typing.Optional[typing.List[int]] = None guidance_scale: float = 6 use_dynamic_cfg: bool = False num_videos_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.FloatTensor] = None prompt_embeds: typing.Optional[torch.FloatTensor] = None negative_prompt_embeds: typing.Optional[torch.FloatTensor] = None output_type: str = 'pil' return_dict: bool = True attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] max_sequence_length: int = 226 ) → CogVideoXPipelineOutput 或 tuple

参数

image (PipelineImageInput) — 用于调节生成的输入图像。必须是图像、图像列表或 torch.Tensor。
prompt (str 或 List[str], 可选) — 用于引导图像生成的提示。如果未定义，则必须传入 prompt_embeds。
negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示。如果未定义，则必须传入 negative_prompt_embeds。在不使用引导时（即，如果 guidance_scale 小于 1 时），将被忽略。
height (int, 可选, 默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的像素高度。为获得最佳结果，默认设置为 480。
width (int, 可选, 默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的像素宽度。为获得最佳结果，默认设置为 720。
num_frames (int, 默认为 48) — 要生成的帧数。必须可被 self.vae_scale_factor_temporal 整除。生成的视频将包含 1 个额外帧，因为 CogVideoX 使用 (num_seconds * fps + 1) 帧进行条件设置，其中 num_seconds 为 6，fps 为 8。但是，由于视频可以以任何 fps 保存，唯一需要满足的条件是上述可整除性。
num_inference_steps (int, 可选, 默认为 50) — 去噪步数。更多去噪步数通常会带来更高质量的图像，但推理速度会变慢。
timesteps (List[int], 可选) — 用于去噪过程的自定义时间步长，适用于在其 set_timesteps 方法中支持 timesteps 参数的调度器。如果未定义，将使用传入 num_inference_steps 时的默认行为。必须按降序排列。
guidance_scale (float, 可选, 默认为 7.0) — Classifier-Free Diffusion Guidance 中定义的引导比例。guidance_scale 定义为 Imagen Paper 方程 2 中的 w。通过设置 guidance_scale > 1 启用引导比例。更高的引导比例鼓励生成与文本 prompt 紧密相关的图像，通常以牺牲图像质量为代价。
num_videos_per_prompt (int, 可选, 默认为 1) — 每个提示要生成的视频数量。
generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch generator(s)，用于使生成具有确定性。
latents (torch.FloatTensor, 可选) — 预生成的噪声潜在表示，从高斯分布中采样，用作图像生成的输入。可用于使用不同提示调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成一个潜在张量。
prompt_embeds (torch.FloatTensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.FloatTensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。在 PIL: PIL.Image.Image 或 np.array 之间选择。
return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 而不是普通元组。
attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为 self.processor 中定义的 AttentionProcessor 的参数传递到 diffusers.models.attention_processor。
callback_on_step_end (Callable, 可选) — 在推理过程中每个去噪步骤结束时调用的函数。该函数以以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 中指定的所有张量列表。
callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。
max_sequence_length (int, 默认为 226) — 编码提示中的最大序列长度。必须与 self.transformer.config.max_text_seq_length 保持一致，否则可能导致结果不佳。

CogVideoXPipelineOutput 或 tuple

如果return_dict为True，则返回CogVideoXPipelineOutput，否则返回tuple。当返回元组时，第一个元素是生成的图像列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import CogVideoXImageToVideoPipeline
>>> from diffusers.utils import export_to_video, load_image

>>> pipe = CogVideoXImageToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b-I2V", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")

>>> prompt = "An astronaut hatching from an egg, on the surface of the moon, the darkness and depth of space realised in the background. High quality, ultrarealistic detail and breath-taking movie-like camera shot."
>>> image = load_image(
...     "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/astronaut.jpg"
... )
>>> video = pipe(image, prompt, use_dynamic_cfg=True)
>>> export_to_video(video.frames[0], "output.mp4", fps=8)

encode_prompt

参数

prompt (str 或 List[str], 可选) — 要编码的提示。
negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示。如果未定义，则必须传入 negative_prompt_embeds。在不使用引导时（即，如果 guidance_scale 小于 1 时），将被忽略。
do_classifier_free_guidance (bool, 可选, 默认为 True) — 是否使用分类器自由引导。
num_videos_per_prompt (int, 可选, 默认为 1) — 每个提示应生成的视频数量。生成嵌入的 torch 设备。
prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
device — (torch.device, 可选): torch 设备
dtype — (torch.dtype, 可选): torch 数据类型

将提示编码为文本编码器隐藏状态。

融合 qkv 投影

( )

启用融合的 QKV 投影。

unfuse_qkv_projections

( )

如果启用了 QKV 投影融合，则禁用它。

CogVideoXVideoToVideoPipeline

class diffusers.CogVideoXVideoToVideoPipeline

参数

vae (AutoencoderKL) — 变分自编码器（VAE）模型，用于将视频编码和解码为潜在表示。
text_encoder (T5EncoderModel) — 冻结文本编码器。CogVideoX 使用 T5；特别是 t5-v1_1-xxl 变体。
tokenizer (T5Tokenizer) — T5Tokenizer 类的分词器。
transformer (CogVideoXTransformer3DModel) — 用于对编码视频潜在表示进行去噪的文本条件 CogVideoXTransformer3DModel。
scheduler (SchedulerMixin) — 与 transformer 结合使用的调度器，用于对编码视频潜在表示进行去噪。

使用 CogVideoX 进行视频到视频生成的管道。

此模型继承自DiffusionPipeline。请查阅超类文档，了解库为所有管道实现通用方法（例如下载或保存、在特定设备上运行等）。

call

( video: typing.List[PIL.Image.Image] = None prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt: typing.Union[str, typing.List[str], NoneType] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.Optional[typing.List[int]] = None strength: float = 0.8 guidance_scale: float = 6 use_dynamic_cfg: bool = False num_videos_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.FloatTensor] = None prompt_embeds: typing.Optional[torch.FloatTensor] = None negative_prompt_embeds: typing.Optional[torch.FloatTensor] = None output_type: str = 'pil' return_dict: bool = True attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] max_sequence_length: int = 226 ) → CogVideoXPipelineOutput or tuple

参数

video (List[PIL.Image.Image]) — 用于条件生成输入的视频。必须是视频的图像/帧列表。
prompt (str 或 List[str]，可选) — 用于引导图像生成的提示或提示列表。如果未定义，则必须传入 prompt_embeds。
negative_prompt (str 或 List[str]，可选) — 用于不引导图像生成的提示或提示列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用指导时（即 guidance_scale 小于 1 时），该参数将被忽略。
height (int，可选，默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的高度（像素）。为了获得最佳结果，默认设置为 480。
width (int，可选，默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的宽度（像素）。为了获得最佳结果，默认设置为 720。
num_inference_steps (int，可选，默认为 50) — 去噪步数。更多的去噪步数通常会带来更高质量的图像，但推理速度会变慢。
timesteps (List[int]，可选) — 用于去噪过程的自定义时间步长，适用于在其 set_timesteps 方法中支持 timesteps 参数的调度器。如果未定义，将使用传入 num_inference_steps 时的默认行为。必须按降序排列。
strength (float，可选，默认为 0.8) — 强度越高，原始视频与生成视频之间的差异越大。
guidance_scale (float，可选，默认为 7.0) — 如 Classifier-Free Diffusion Guidance 中所定义的指导比例。guidance_scale 被定义为 Imagen Paper 中公式 2 的 w。通过设置 guidance_scale > 1 启用指导比例。更高的指导比例会促使生成与文本 prompt 更紧密相关的图像，但通常会牺牲图像质量。
num_videos_per_prompt (int，可选，默认为 1) — 每个提示要生成的视频数量。
generator (torch.Generator 或 List[torch.Generator]，可选) — 一个或多个 torch 生成器，用于使生成过程具有确定性。
latents (torch.FloatTensor，可选) — 预先生成的噪声潜在变量，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成潜在张量。
prompt_embeds (torch.FloatTensor，可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.FloatTensor，可选) — 预先生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
output_type (str，可选，默认为 "pil") — 生成图像的输出格式。在 PIL: PIL.Image.Image 或 np.array 之间选择。
return_dict (bool，可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 而不是普通元组。
attention_kwargs (dict，可选) — 一个 kwargs 字典，如果指定，则会传递给 diffusers.models.attention_processor 中 self.processor 下定义的 AttentionProcessor。
callback_on_step_end (Callable，可选) — 在推理过程中每个去噪步骤结束时调用的函数。函数调用时包含以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 指定的所有张量列表。
callback_on_step_end_tensor_inputs (List，可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。
max_sequence_length (int，默认为 226) — 编码提示中的最大序列长度。必须与 self.transformer.config.max_text_seq_length 保持一致，否则可能导致结果不佳。

CogVideoXPipelineOutput 或 tuple

如果return_dict为True，则返回CogVideoXPipelineOutput，否则返回tuple。当返回元组时，第一个元素是生成的图像列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import CogVideoXDPMScheduler, CogVideoXVideoToVideoPipeline
>>> from diffusers.utils import export_to_video, load_video

>>> # Models: "THUDM/CogVideoX-2b" or "THUDM/CogVideoX-5b"
>>> pipe = CogVideoXVideoToVideoPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> pipe.scheduler = CogVideoXDPMScheduler.from_config(pipe.scheduler.config)

>>> input_video = load_video(
...     "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/hiker.mp4"
... )
>>> prompt = (
...     "An astronaut stands triumphantly at the peak of a towering mountain. Panorama of rugged peaks and "
...     "valleys. Very futuristic vibe and animated aesthetic. Highlights of purple and golden colors in "
...     "the scene. The sky is looks like an animated/cartoonish dream of galaxies, nebulae, stars, planets, "
...     "moons, but the remainder of the scene is mostly realistic."
... )

>>> video = pipe(
...     video=input_video, prompt=prompt, strength=0.8, guidance_scale=6, num_inference_steps=50
... ).frames[0]
>>> export_to_video(video, "output.mp4", fps=8)

encode_prompt

参数

prompt (str 或 List[str]，可选) — 待编码的提示
negative_prompt (str 或 List[str]，可选) — 用于不引导图像生成的提示或提示列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用指导时（即 guidance_scale 小于 1 时），该参数将被忽略。
do_classifier_free_guidance (bool，可选，默认为 True) — 是否使用分类器自由指导。
num_videos_per_prompt (int，可选，默认为 1) — 每个提示应生成的视频数量。用于放置结果嵌入的 torch 设备。
prompt_embeds (torch.Tensor，可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor，可选) — 预先生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
device — (torch.device，可选): torch 设备
dtype — (torch.dtype，可选): torch 数据类型

将提示编码为文本编码器隐藏状态。

融合 qkv 投影

( )

启用融合的 QKV 投影。

unfuse_qkv_projections

( )

如果启用了 QKV 投影融合，则禁用它。

CogVideoXFunControlPipeline

class diffusers.CogVideoXFunControlPipeline

( tokenizer: T5Tokenizer text_encoder: T5EncoderModel vae: AutoencoderKLCogVideoX transformer: CogVideoXTransformer3DModel scheduler: KarrasDiffusionSchedulers )

参数

vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将视频编码和解码为潜在表示。
text_encoder (T5EncoderModel) — 冻结的文本编码器。CogVideoX 使用 T5；具体来说是 t5-v1_1-xxl 变体。
tokenizer (T5Tokenizer) — T5Tokenizer 类的分词器。
transformer (CogVideoXTransformer3DModel) — 一个文本条件 CogVideoXTransformer3DModel，用于对编码的视频潜在变量进行去噪。
scheduler (SchedulerMixin) — 与 transformer 结合使用的调度器，用于对编码的视频潜在变量进行去噪。

用于使用 CogVideoX Fun 进行受控文本到视频生成的管道。

此模型继承自DiffusionPipeline。请查阅超类文档，了解库为所有管道实现通用方法（例如下载或保存、在特定设备上运行等）。

call

( prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt: typing.Union[str, typing.List[str], NoneType] = None control_video: typing.Optional[typing.List[PIL.Image.Image]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.Optional[typing.List[int]] = None guidance_scale: float = 6 use_dynamic_cfg: bool = False num_videos_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None control_video_latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None output_type: str = 'pil' return_dict: bool = True attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] max_sequence_length: int = 226 ) → CogVideoXPipelineOutput 或 tuple

参数

prompt (str 或 List[str]，可选) — 用于引导图像生成的提示或提示列表。如果未定义，则必须传入 prompt_embeds。
negative_prompt (str 或 List[str]，可选) — 用于不引导图像生成的提示或提示列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用指导时（即 guidance_scale 小于 1 时），该参数将被忽略。
control_video (List[PIL.Image.Image]) — 用于条件生成的控制视频。必须是视频的图像/帧列表。如果未提供，则必须提供 control_video_latents。
height (int，可选，默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的高度（像素）。为了获得最佳结果，默认设置为 480。
width (int，可选，默认为 self.transformer.config.sample_height * self.vae_scale_factor_spatial) — 生成图像的宽度（像素）。为了获得最佳结果，默认设置为 720。
num_inference_steps (int，可选，默认为 50) — 去噪步数。更多的去噪步数通常会带来更高质量的图像，但推理速度会变慢。
timesteps (List[int], 可选) — 用于去噪过程的自定义时间步，适用于其 set_timesteps 方法支持 timesteps 参数的调度器。如果未定义，将使用传递 num_inference_steps 时的默认行为。必须按降序排列。
guidance_scale (float, 可选, 默认为 6.0) — 如 Classifier-Free Diffusion Guidance 中定义的引导比例。guidance_scale 定义为 Imagen Paper 方程 2 中的 w。通过设置 guidance_scale > 1 启用引导比例。更高的引导比例鼓励生成与文本 prompt 紧密相关的图像，通常以牺牲较低图像质量为代价。
num_videos_per_prompt (int, 可选, 默认为 1) — 每个提示要生成的视频数量。
generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成确定化。
latents (torch.Tensor, 可选) — 预先生成的噪声潜在变量，从高斯分布中采样，用作视频生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成一个潜在变量张量。
control_video_latents (torch.Tensor, 可选) — 预先生成的控制潜在变量，从高斯分布中采样，用作受控视频生成的输入。如果未提供，则必须提供 control_video。
prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，负面提示嵌入将从 negative_prompt 输入参数生成。
output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。选择 PIL: PIL.Image.Image 或 np.array。
return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 而不是普通元组。
attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将传递给 diffusers.models.attention_processor 中定义的 self.processor 的 AttentionProcessor。
callback_on_step_end (Callable, 可选) — 在推理过程中每次去噪步骤结束时调用的函数。该函数以以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 指定的所有张量列表。
callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类的 ._callback_tensor_inputs 属性中列出的变量。
max_sequence_length (int, 默认为 226) — 编码提示中的最大序列长度。必须与 self.transformer.config.max_text_seq_length 保持一致，否则可能导致结果不佳。

CogVideoXPipelineOutput 或 tuple

如果return_dict为True，则返回CogVideoXPipelineOutput，否则返回tuple。当返回元组时，第一个元素是生成的图像列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import CogVideoXFunControlPipeline, DDIMScheduler
>>> from diffusers.utils import export_to_video, load_video

>>> pipe = CogVideoXFunControlPipeline.from_pretrained(
...     "alibaba-pai/CogVideoX-Fun-V1.1-5b-Pose", torch_dtype=torch.bfloat16
... )
>>> pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config)
>>> pipe.to("cuda")

>>> control_video = load_video(
...     "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/hiker.mp4"
... )
>>> prompt = (
...     "An astronaut stands triumphantly at the peak of a towering mountain. Panorama of rugged peaks and "
...     "valleys. Very futuristic vibe and animated aesthetic. Highlights of purple and golden colors in "
...     "the scene. The sky is looks like an animated/cartoonish dream of galaxies, nebulae, stars, planets, "
...     "moons, but the remainder of the scene is mostly realistic."
... )

>>> video = pipe(prompt=prompt, control_video=control_video).frames[0]
>>> export_to_video(video, "output.mp4", fps=8)

encode_prompt

参数

prompt (str 或 List[str], 可选) — 要编码的提示
negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示或多个提示。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时（即，如果 guidance_scale 小于 1 时），此参数将被忽略。
do_classifier_free_guidance (bool, 可选, 默认为 True) — 是否使用无分类器引导。
num_videos_per_prompt (int, 可选, 默认为 1) — 每个提示应生成的视频数量。要放置结果嵌入的 torch 设备
prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，负面提示嵌入将从 negative_prompt 输入参数生成。
device — (torch.device, 可选): torch 设备
dtype — (torch.dtype, 可选): torch 数据类型

将提示编码为文本编码器隐藏状态。

融合 qkv 投影

( )

启用融合的 QKV 投影。

unfuse_qkv_projections

( )

如果启用了 QKV 投影融合，则禁用它。

CogVideoXPipelineOutput

class diffusers.pipelines.cogvideo.pipeline_output.CogVideoXPipelineOutput