Hugging Face 的 LOGO

Diffusers 文档

AudioLDM

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AudioLDM

AudioLDM 是由 Haohe Liu 等人在 AudioLDM: Text-to-Audio Generation with Latent Diffusion Models 中提出的。受 Stable Diffusion 的启发，AudioLDM 是一个文本到音频的*潜在扩散模型 (LDM)*，它从 CLAP 潜在表示中学习连续的音频表示。AudioLDM 接收文本提示作为输入，并预测相应的音频。它可以生成文本条件音效、人声和音乐。

论文摘要如下：

文本到音频 (TTA) 系统最近因其能够根据文本描述合成通用音频而受到关注。然而，先前在 TTA 方面的研究在生成质量和高计算成本方面存在限制。在这项研究中，我们提出了 AudioLDM，一个建立在潜在空间上的 TTA 系统，用于从对比语言-音频预训练 (CLAP) 潜在表示中学习连续的音频表示。预训练的 CLAP 模型使我们能够使用音频嵌入训练 LDM，同时在采样期间提供文本嵌入作为条件。通过学习音频信号及其组合的潜在表示，而无需建模跨模态关系，AudioLDM 在生成质量和计算效率方面都具有优势。在 AudioCaps 上使用单个 GPU 进行训练，AudioLDM 在客观和主观指标（例如，Fréchet 距离）方面均实现了最先进的 TTA 性能。此外，AudioLDM 是第一个能够以零样本方式进行各种文本引导音频操作（例如，风格迁移）的 TTA 系统。我们的实现和演示可在 https://audioldm.github.io/ 找到。

原始代码库可在 haoheliu/AudioLDM 找到。

提示

在构建提示时，请记住：

  • 描述性提示输入效果最佳；您可以使用形容词来描述声音（例如，“高品质”或“清晰”），并使提示上下文具体（例如，“森林中的水流”而不是“水流”）。
  • 最好使用“猫”或“狗”等通用术语，而不是模型可能不熟悉的特定名称或抽象对象。

在推理过程中

  • 预测音频样本的*质量*可以通过 `num_inference_steps` 参数控制；步数越多，音频质量越高，但推理速度越慢。
  • 预测音频样本的*长度*可以通过更改 `audio_length_in_s` 参数来控制。

请务必查看调度器指南，了解如何在调度器速度和质量之间进行权衡，并查看跨管道重用组件部分，了解如何有效地将相同组件加载到多个管道中。

AudioLDMPipeline

类 diffusers.AudioLDMPipeline

< >

( vae: AutoencoderKL text_encoder: ClapTextModelWithProjection tokenizer: typing.Union[transformers.models.roberta.tokenization_roberta.RobertaTokenizer, transformers.models.roberta.tokenization_roberta_fast.RobertaTokenizerFast] unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers vocoder: SpeechT5HifiGan )

参数

用于使用 AudioLDM 进行文本到音频生成的管道。

此模型继承自 DiffusionPipeline。有关所有管道实现的通用方法（下载、保存、在特定设备上运行等），请查看超类文档。

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None audio_length_in_s: typing.Optional[float] = None num_inference_steps: int = 10 guidance_scale: float = 2.5 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_waveforms_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: typing.Optional[int] = 1 cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None output_type: typing.Optional[str] = 'np' ) → AudioPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导音频生成的提示词。如果未定义，您需要传递 `prompt_embeds`。
  • audio_length_in_s (int, 可选, 默认为 5.12) — 生成音频样本的长度（秒）。
  • num_inference_steps (int, 可选, 默认为 10) — 去噪步数。更多的去噪步数通常会带来更高质量的音频，但推理速度会变慢。
  • guidance_scale (float, 可选, 默认为 2.5) — 较高的引导尺度值鼓励模型生成与文本 `prompt` 紧密相关的音频，但会牺牲较低的音质。当 `guidance_scale > 1` 时启用引导尺度。
  • negative_prompt (str 或 List[str], 可选) — 用于引导音频生成中不包含内容的提示词。如果未定义，您需要传递 `negative_prompt_embeds`。当不使用引导时（`guidance_scale < 1`）则忽略。
  • num_waveforms_per_prompt (int, 可选, 默认为 1) — 每个提示生成波形的数量。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成具有确定性的 torch.Generator。
  • latents (torch.Tensor, 可选) — 预生成的从高斯分布采样的噪声潜在表示，用作图像生成的输入。可用于使用不同提示调整相同生成。如果未提供，则使用提供的随机 `generator` 进行采样生成潜在张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 `prompt` 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 `negative_prompt` 输入参数生成 `negative_prompt_embeds`。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 AudioPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 在推理期间每 `callback_steps` 步调用的函数。该函数以以下参数调用：`callback(step: int, timestep: int, latents: torch.Tensor)`。
  • callback_steps (int, 可选, 默认为 1) — 调用 `callback` 函数的频率。如果未指定，则在每一步都调用回调。
  • cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，则传递给 self.processor 中定义的 `AttentionProcessor`。
  • output_type (str, 可选, 默认为 "np") — 生成图像的输出格式。选择 "np" 返回 NumPy `np.ndarray` 或 "pt" 返回 PyTorch `torch.Tensor` 对象。

返回

AudioPipelineOutput 或 tuple

如果 `return_dict` 为 `True`，则返回 AudioPipelineOutput，否则返回一个 `tuple`，其中第一个元素是生成的音频列表。

用于生成的管道的调用函数。

示例

>>> from diffusers import AudioLDMPipeline
>>> import torch
>>> import scipy

>>> repo_id = "cvssp/audioldm-s-full-v2"
>>> pipe = AudioLDMPipeline.from_pretrained(repo_id, torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")

>>> prompt = "Techno music with a strong, upbeat tempo and high melodic riffs"
>>> audio = pipe(prompt, num_inference_steps=10, audio_length_in_s=5.0).audios[0]

>>> # save the audio sample as a .wav file
>>> scipy.io.wavfile.write("techno.wav", rate=16000, data=audio)

AudioPipelineOutput

类 diffusers.AudioPipelineOutput

< >

( audios: ndarray )

参数

  • audios (np.ndarray) — 降噪后的音频样本列表，一个形状为 `(batch_size, num_channels, sample_rate)` 的 NumPy 数组。

音频流水线的输出类。

< > 在 GitHub 上更新

←Attend-and-Excite AudioLDM 2→