MusicLDM
MusicLDM 由 Ke Chen、Yusong Wu、Haohe Liu、Marianna Nezhurina、Taylor Berg-Kirkpatrick 和 Shlomo Dubnov 在 MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies 中提出。MusicLDM 以文本提示作为输入，并预测相应的音乐样本。
受 Stable Diffusion 和 AudioLDM 的启发，MusicLDM 是一种文本到音乐的潜在扩散模型 (LDM)，它从 CLAP 潜在变量中学习连续的音频表示。
MusicLDM 在包含 466 小时音乐数据的语料库上进行训练。在时域和潜在空间中，都对音乐样本应用了节拍同步的数据增强策略。使用节拍同步的数据增强策略鼓励模型在训练样本之间进行插值，但同时保持在训练数据的范围内。结果是生成的音乐更加多样化，同时保持对相应风格的忠实性。
论文的摘要如下：
扩散模型在跨模态生成任务中展现出令人鼓舞的结果，包括文本到图像和文本到音频生成。然而，由于音乐数据可用性有限以及与版权和剽窃相关的敏感问题，生成音乐（作为一种特殊的音频类型）提出了独特的挑战。在本文中，为了应对这些挑战，我们首先构建了一个最先进的文本到音乐模型 MusicLDM，该模型将 Stable Diffusion 和 AudioLDM 架构适应于音乐领域。我们通过在音乐数据样本集合上重新训练对比语言-音频预训练模型 (CLAP) 和 Hifi-GAN 声码器（作为 MusicLDM 的组成部分）来实现这一点。然后，为了解决训练数据限制并避免剽窃，我们利用节拍跟踪模型并提出两种不同的混合策略用于数据增强：节拍同步音频混合和节拍同步潜在混合，它们分别直接或通过潜在嵌入空间重新组合训练音频。这种混合策略鼓励模型在音乐训练样本之间进行插值，并在训练数据的凸包内生成新的音乐，使生成的音乐更加多样化，同时仍然忠实于相应的风格。除了流行的评估指标外，我们还设计了一些基于 CLAP 分数的新评估指标，以证明我们提出的 MusicLDM 和节拍同步混合策略提高了生成音乐的质量和新颖性，以及输入文本和生成音乐之间的对应关系。
此管道由 sanchit-gandhi 贡献。
提示
构建提示时，请记住
- 描述性的提示输入效果最佳；使用形容词来描述声音（例如，“高质量”或“清晰”），并在可能的情况下使提示上下文具体（例如，“带有快速节拍和合成器的旋律科技音乐”比“科技音乐”效果更好）。
- 使用负面提示可以显著提高生成音频的质量。尝试使用“低质量、一般质量”作为负面提示。
推理期间
- 生成的音频样本的质量可以通过
num_inference_steps参数控制；更高的步数会产生更高质量的音频，但代价是推理速度较慢。 - 可以一次生成多个波形：将
num_waveforms_per_prompt设置为大于 1 的值以启用。将在生成的波形和提示文本之间执行自动评分，并将音频按从好到坏的顺序排序。 - 生成的音频样本的长度可以通过更改
audio_length_in_s参数来控制。
MusicLDMPipeline
class diffusers.MusicLDMPipeline
< 源代码 >( vae: AutoencoderKL text_encoder: Union tokenizer: Union feature_extractor: Optional unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers vocoder: SpeechT5HifiGan )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码为潜在表示。
- text_encoder (ClapModel) — 冻结的文本-音频嵌入模型 (
ClapTextModel)，特别是 laion/clap-htsat-unfused 变体。 - tokenizer (
PreTrainedTokenizer) — 用于分词文本的 RobertaTokenizer。 - 特征提取器 (ClapFeatureExtractor) — 用于从音频波形计算梅尔谱图的特征提取器。
- Unet (UNet2DConditionModel) — 用于对编码的音频潜在变量进行去噪的
UNet2DConditionModel。 - 调度器 (SchedulerMixin) — 与
unet结合使用以对编码的音频潜在变量进行去噪的调度器。可以是DDIMScheduler、LMSDiscreteScheduler或PNDMScheduler之一。 - 声码器 (SpeechT5HifiGan) — 类别为
SpeechT5HifiGan的声码器。
使用 MusicLDM 进行文本到音频生成的管道。
此模型继承自DiffusionPipeline。查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
__call__
< 源代码 >( 提示: Union = None 音频长度（秒）: Optional = None 推理步数: int = 200 引导尺度: float = 2.0 负面提示: Union = None 每个提示的波形数量: Optional = 1 eta: float = 0.0 生成器: Union = None 潜在变量: Optional = None 提示嵌入: Optional = None 负面提示嵌入: Optional = None 返回字典: bool = True 回调函数: Optional = None 回调步数: Optional = 1 跨注意力参数: Optional = None 输出类型: Optional = 'np' ) → AudioPipelineOutput 或 元组
参数
- 提示 (
str或List[str], 可选) — 指导音频生成的提示或提示。如果未定义，则需要传递prompt_embeds。 - 音频长度（秒） (
int, 可选, 默认为 10.24) — 生成的音频样本的长度（以秒为单位）。 - 推理步数 (
int, 可选, 默认为 200) — 去噪步骤的数量。更多的去噪步骤通常会导致更高的音频质量，但推理速度会变慢。 - guidance_scale (
float，可选，默认为 2.0) — 更高的引导尺度值鼓励模型生成与文本prompt紧密相关的音频，但会牺牲音频质量。当guidance_scale > 1时启用引导尺度。 - negative_prompt (
str或List[str]，可选) — 用于指导音频生成中不包含内容的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。 - num_waveforms_per_prompt (
int，可选，默认为 1) — 每个提示生成音频的数量。如果num_waveforms_per_prompt > 1，文本编码模型是联合文本-音频模型（ClapModel），并且分词器是[~transformers.ClapProcessor]，则将在生成的输出和输入文本之间执行自动评分。此评分根据生成的音频与联合文本-音频嵌入空间中文本输入的余弦相似度对生成的音频进行排序。 - eta (
float，可选，默认为 0.0) — 对应于DDIM论文中的参数 eta (η)。仅适用于DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator]，可选) — 用于使生成确定性的torch.Generator。 - latents (
torch.Tensor，可选) — 从高斯分布中采样的预生成噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机generator进行采样来生成潜在变量张量。 - prompt_embeds (
torch.Tensor，可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor，可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - return_dict (
bool，可选，默认为True) — 是否返回AudioPipelineOutput而不是普通元组。 - callback (
Callable，可选) — 在推理过程中每隔callback_steps步调用一次的函数。该函数使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。 - callback_steps (
int, 可选，默认为 1) —callback函数调用的频率。如果未指定，则在每个步骤都调用回调函数。 - cross_attention_kwargs (
dict, 可选) — 如果指定，则将此 kwargs 字典传递给self.processor中定义的AttentionProcessor。 - output_type (
str, 可选，默认为"np") — 生成的音频的输出格式。在"np"（返回 NumPynp.ndarray）和"pt"（返回 PyTorchtorch.Tensor对象）之间选择。设置为"latent"以返回潜在扩散模型 (LDM) 输出。
返回值
AudioPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 AudioPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成音频的列表。
管道生成过程的调用函数。
示例
>>> from diffusers import MusicLDMPipeline
>>> import torch
>>> import scipy
>>> repo_id = "ucsd-reach/musicldm"
>>> pipe = MusicLDMPipeline.from_pretrained(repo_id, torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> prompt = "Techno music with a strong, upbeat tempo and high melodic riffs"
>>> audio = pipe(prompt, num_inference_steps=10, audio_length_in_s=5.0).audios[0]
>>> # save the audio sample as a .wav file
>>> scipy.io.wavfile.write("techno.wav", rate=16000, data=audio)使用 accelerate 将所有模型卸载到 CPU，从而减少内存使用，同时对性能的影响很小。与 enable_sequential_cpu_offload 相比，此方法在调用模型的 forward 方法时一次将一个完整的模型移动到 GPU，并且该模型会保留在 GPU 中，直到下一个模型运行。与 enable_sequential_cpu_offload 相比，内存节省较少，但由于 unet 的迭代执行，性能要好得多。