AudioLDM
AudioLDM 是由刘浩河等人于 AudioLDM: Text-to-Audio Generation with Latent Diffusion Models 中提出的。受 Stable Diffusion 的启发，AudioLDM 是一种文本到音频的潜在扩散模型 (LDM)，它从 CLAP 的潜在特征中学习连续的音频表示。AudioLDM 以文本提示作为输入，并预测相应的音频。它可以生成文本条件的声音效果、人声和音乐。
论文中的摘要如下：
文本到音频 (TTA) 系统近年来因其能够根据文本描述合成通用音频而受到关注。然而，以往的 TTA 研究在生成质量方面受到限制，同时计算成本很高。在本研究中，我们提出了 AudioLDM，一个基于潜在空间的 TTA 系统，用于从对比语言音频预训练 (CLAP) 的潜在特征中学习连续的音频表示。预训练的 CLAP 模型使我们能够使用音频嵌入训练 LDM，同时在采样期间提供文本嵌入作为条件。通过学习音频信号及其组合的潜在表示，而不对跨模态关系进行建模，AudioLDM 在生成质量和计算效率方面都具有优势。在 AudioCaps 上使用单个 GPU 训练，AudioLDM 在客观和主观指标（例如，Fréchet 距离）的衡量下实现了最先进的 TTA 性能。此外，AudioLDM 是第一个能够以零样本方式实现各种文本引导的音频操作（例如，风格迁移）的 TTA 系统。我们的实现和演示可在 此链接 找到。
原始代码库可在 haoheliu/AudioLDM 中找到。
提示
构建提示时，请牢记
- 描述性的提示输入效果最佳；您可以使用形容词来描述声音（例如，“高质量”或“清晰”），并使提示上下文具体（例如，“森林中的溪流”而不是“溪流”）。
- 最好使用通用的术语，例如“猫”或“狗”，而不是模型可能不熟悉的特定名称或抽象物体。
在推断过程中
- 预测音频样本的质量可以通过
num_inference_steps参数控制；更高的步骤可以生成更高质量的音频，但推断速度会更慢。 - 预测音频样本的长度可以通过更改
audio_length_in_s参数来控制。
AudioLDMPipeline
class diffusers.AudioLDMPipeline
< source >( vae: AutoencoderKL text_encoder: ClapTextModelWithProjection tokenizer: Union unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers vocoder: SpeechT5HifiGan )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器 (VAE) 模型。
- text_encoder (ClapTextModelWithProjection) — 冻结的文本编码器 (
ClapTextModelWithProjection，特别是 laion/clap-htsat-unfused 变体。 - tokenizer (
PreTrainedTokenizer) — 用于对文本进行标记化的 RobertaTokenizer。 - unet (UNet2DConditionModel) — 用于对编码的音频潜在特征进行去噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 用于与
unet结合对编码的音频潜在特征进行去噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - vocoder (SpeechT5HifiGan) — 类别为
SpeechT5HifiGan的声码器。
使用 AudioLDM 进行文本到音频生成的管道。
该模型继承自 DiffusionPipeline。请查看超类文档以获取所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
__call__
< 源代码 >( prompt: Union = None audio_length_in_s: Optional = None num_inference_steps: int = 10 guidance_scale: float = 2.5 negative_prompt: Union = None num_waveforms_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None return_dict: bool = True callback: Optional = None callback_steps: Optional = 1 cross_attention_kwargs: Optional = None output_type: Optional = 'np' ) → AudioPipelineOutput 或 元组
参数
- prompt (
str或List[str], 可选) — 指导音频生成的提示或提示。如果没有定义，则需要传递prompt_embeds。 - audio_length_in_s (
int, 可选，默认值为 5.12) — 生成的音频样本的长度（以秒为单位）。 - num_inference_steps (
int, 可选，默认值为 10) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的音频质量，但推理速度会变慢。 - guidance_scale (
float, 可选，默认值为 2.5) — 较高的引导比例值鼓励模型生成与文本prompt密切相关的音频，但会降低音频质量。当guidance_scale > 1时，引导比例被启用。 - negative_prompt (
str或List[str], 可选) — 指导不包含在音频生成中的提示或提示。如果没有定义，则需要传递negative_prompt_embeds。当不使用引导时被忽略 (guidance_scale < 1)。 - num_waveforms_per_prompt (
int, 可选，默认值为 1) — 每个提示生成的波形数量。 - generator (
torch.Generator或List[torch.Generator], 可选) — 一个torch.Generator，用于使生成确定性。 - latents (
torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜变量，用作图像生成的输入。 可用于使用不同的提示调整相同的生成。 如果未提供，则通过使用提供的随机generator采样来生成潜变量张量。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - return_dict (
bool, 可选，默认值为True) — 是否返回一个 AudioPipelineOutput，而不是一个简单的元组。 - callback (
Callable, 可选) — 在推理过程中每callback_steps步调用一次的函数。 该函数使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。 - callback_steps (
int, 可选，默认值为 1) —callback函数调用的频率。 如果未指定，则在每一步都调用回调。 - cross_attention_kwargs (
dict, 可选) — 如果指定，则传递给self.processor中定义的AttentionProcessor的关键字参数字典。 - output_type (
str, 可选，默认值为"np") — 生成的音频的输出格式。 在"np"（返回 NumPynp.ndarray）和"pt"（返回 PyTorchtorch.Tensor对象）之间选择。
返回
AudioPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 AudioPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成的音频的列表。
管道用于生成音频的调用函数。
示例
>>> from diffusers import AudioLDMPipeline
>>> import torch
>>> import scipy
>>> repo_id = "cvssp/audioldm-s-full-v2"
>>> pipe = AudioLDMPipeline.from_pretrained(repo_id, torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> prompt = "Techno music with a strong, upbeat tempo and high melodic riffs"
>>> audio = pipe(prompt, num_inference_steps=10, audio_length_in_s=5.0).audios[0]
>>> # save the audio sample as a .wav file
>>> scipy.io.wavfile.write("techno.wav", rate=16000, data=audio)