Hugging Face 的 LOGO

Diffusers 文档

MusicLDM

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

MusicLDM

MusicLDM 在 Ke Chen、Yusong Wu、Haohe Liu、Marianna Nezhurina、Taylor Berg-Kirkpatrick 和 Shlomo Dubnov 提出的MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies 中被提出。MusicLDM 接收文本提示作为输入，并预测相应的音乐样本。

受 Stable Diffusion 和 AudioLDM 的启发，MusicLDM 是一个文本到音乐的 潜在扩散模型 (LDM)，它从 CLAP 潜在空间学习连续的音频表示。

MusicLDM 在 466 小时的音乐数据语料库上进行训练。节拍同步数据增强策略被应用于音乐样本，包括时域和潜在空间。使用节拍同步数据增强策略鼓励模型在训练样本之间进行插值，但保持在训练数据的领域内。结果是生成的音乐更加多样化，同时保持了相应的风格。

论文摘要如下：

扩散模型在跨模态生成任务中显示出有希望的结果，包括文本到图像和文本到音频生成。然而，作为一种特殊类型的音频，生成音乐面临独特的挑战，因为音乐数据可用性有限以及与版权和剽窃相关的敏感问题。在本文中，为了解决这些挑战，我们首先构建了一个最先进的文本到音乐模型 MusicLDM，它将 Stable Diffusion 和 AudioLDM 架构应用于音乐领域。我们通过在音乐数据样本集合上重新训练对比语言-音频预训练模型 (CLAP) 和 Hifi-GAN 声音编码器（作为 MusicLDM 的组件）来实现这一目标。然后，为了解决训练数据的限制并避免剽窃，我们利用节拍跟踪模型并提出了两种不同的数据增强混合策略：节拍同步音频混合和节拍同步潜在混合，它们分别直接或通过潜在嵌入空间重新组合训练音频。这种混合策略鼓励模型在音乐训练样本之间进行插值，并在训练数据的凸包内生成新的音乐，使生成的音乐更加多样化，同时仍然忠实于相应的风格。除了流行的评估指标外，我们还设计了一些基于 CLAP 分数的新评估指标，以证明我们提出的 MusicLDM 和节拍同步混合策略提高了生成音乐的质量和新颖性，以及输入文本与生成音乐之间的对应关系。

此管道由 sanchit-gandhi 贡献。

提示

在构建提示时，请记住：

  • 描述性的提示输入效果最佳；使用形容词描述声音（例如，“高品质”或“清晰”），并尽可能使提示上下文特定（例如，“带有快速节拍和合成器旋律的电子舞曲”比“电子舞曲”效果更好）。
  • 使用*负面提示*可以显著提高生成音频的质量。尝试使用“低质量，一般质量”作为负面提示。

在推理过程中

  • 生成音频样本的*质量*可以通过 `num_inference_steps` 参数控制；步数越多，音频质量越高，但推理速度越慢。
  • 可以一次生成多个波形：将 `num_waveforms_per_prompt` 设置为大于 1 的值即可启用。生成波形和提示文本之间将执行自动评分，并根据其与文本输入的余弦相似度（在联合文本-音频嵌入空间中）对音频进行从最佳到最差的排名。
  • 生成音频样本的*长度*可以通过更改 `audio_length_in_s` 参数来控制。

请务必查看调度器指南，了解如何权衡调度器速度和质量，并查看跨管道重用组件部分，了解如何高效地将相同组件加载到多个管道中。

MusicLDMPipeline

class diffusers.MusicLDMPipeline

< >

( vae: AutoencoderKL text_encoder: typing.Union[transformers.models.clap.modeling_clap.ClapTextModelWithProjection, transformers.models.clap.modeling_clap.ClapModel] tokenizer: typing.Union[transformers.models.roberta.tokenization_roberta.RobertaTokenizer, transformers.models.roberta.tokenization_roberta_fast.RobertaTokenizerFast] feature_extractor: typing.Optional[transformers.models.clap.feature_extraction_clap.ClapFeatureExtractor] unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers vocoder: SpeechT5HifiGan )

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None audio_length_in_s: typing.Optional[float] = None num_inference_steps: int = 200 guidance_scale: float = 2.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_waveforms_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: typing.Optional[int] = 1 cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None output_type: typing.Optional[str] = 'np' ) → AudioPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导音频生成的提示。如果未定义，您需要传递 prompt_embeds。
  • audio_length_in_s (int, 可选, 默认为 10.24) — 生成音频样本的长度（秒）。
  • num_inference_steps (int, 可选, 默认为 200) — 去噪步数。更多去噪步数通常会带来更高质量的音频，但会牺牲推理速度。
  • guidance_scale (float, 可选, 默认为 2.0) — 较高的引导比例值鼓励模型生成与文本 `prompt` 密切相关的音频，但会牺牲较低的音质。当 `guidance_scale > 1` 时启用引导比例。
  • negative_prompt (str 或 List[str], 可选) — 用于引导音频生成中不包含的内容的提示。如果未定义，您需要改为传递 negative_prompt_embeds。不使用引导时（guidance_scale < 1）忽略。
  • num_waveforms_per_prompt (int, 可选, 默认为 1) — 为每个提示生成的波形数量。如果 num_waveforms_per_prompt > 1，且文本编码模型是联合文本-音频模型 (ClapModel)，且分词器是 [~transformers.ClapProcessor]，则将在生成的输出和输入文本之间执行自动评分。该评分根据生成的波形与联合文本-音频嵌入空间中文本输入的余弦相似度进行排名。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — torch.Generator，用于使生成确定性。
  • latents (torch.Tensor, 可选) — 预生成的从高斯分布采样的噪声潜在变量，用作图像生成的输入。可用于使用不同提示微调相同的生成。如果未提供，则使用提供的随机 generator 采样生成潜在张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示词权重）。如果未提供，则从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（提示词权重）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 AudioPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 在推理过程中每隔 callback_steps 步调用的函数。该函数以以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int, 可选, 默认为 1) — 调用 callback 函数的频率。如果未指定，则在每一步都调用回调。
  • cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 self.processor 中定义的 AttentionProcessor。
  • output_type (str, 可选, 默认为 "np") — 生成音频的输出格式。选择 "np" 返回 NumPy np.ndarray 或 "pt" 返回 PyTorch torch.Tensor 对象。设置为 "latent" 返回潜在扩散模型 (LDM) 输出。

返回

AudioPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 AudioPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成音频的列表。

用于生成的管道的调用函数。

示例

>>> from diffusers import MusicLDMPipeline
>>> import torch
>>> import scipy

>>> repo_id = "ucsd-reach/musicldm"
>>> pipe = MusicLDMPipeline.from_pretrained(repo_id, torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")

>>> prompt = "Techno music with a strong, upbeat tempo and high melodic riffs"
>>> audio = pipe(prompt, num_inference_steps=10, audio_length_in_s=5.0).audios[0]

>>> # save the audio sample as a .wav file
>>> scipy.io.wavfile.write("techno.wav", rate=16000, data=audio)

enable_model_cpu_offload

< >

( gpu_id = 0 )

使用 accelerate 将所有模型卸载到 CPU，在对性能影响较低的情况下减少内存使用。与 enable_sequential_cpu_offload 相比，此方法在调用 forward 方法时一次将一个完整的模型移动到加速器，并且模型保留在加速器中直到下一个模型运行。内存节省低于 enable_sequential_cpu_offload，但由于 unet 的迭代执行，性能要好得多。

< > 在 GitHub 上更新

←MultiDiffusion OmniGen→