Diffusers 文档
MusicLDM
并获得增强的文档体验
开始使用
MusicLDM
MusicLDM 在 MusicLDM:使用节拍同步混合策略增强文本到音乐生成的新颖性 中被提出,作者是 Ke Chen、Yusong Wu、Haohe Liu、Marianna Nezhurina、Taylor Berg-Kirkpatrick、Shlomo Dubnov。MusicLDM 接受文本提示作为输入,并预测相应的音乐样本。
受 Stable Diffusion 和 AudioLDM 的启发,MusicLDM 是一种文本到音乐的潜在扩散模型 (LDM),它从 CLAP 潜在空间中学习连续音频表示。
MusicLDM 在包含 466 小时音乐数据的语料库上进行训练。节拍同步数据增强策略应用于音乐样本,无论是在时域还是潜在空间中。使用节拍同步数据增强策略鼓励模型在训练样本之间进行插值,但保持在训练数据的域内。结果是生成的音乐更加多样化,同时仍然忠实于相应的风格。
该论文的摘要如下:
扩散模型在跨模态生成任务中显示出很有希望的结果,包括文本到图像和文本到音频的生成。然而,生成音乐作为一种特殊的音频类型,由于音乐数据可用性有限以及与版权和剽窃相关的敏感问题,带来了独特的挑战。在本文中,为了应对这些挑战,我们首先构建了一个最先进的文本到音乐模型 MusicLDM,它将 Stable Diffusion 和 AudioLDM 架构调整到音乐领域。我们通过在音乐数据样本集合上重新训练对比语言音频预训练模型 (CLAP) 和 Hifi-GAN 声码器(作为 MusicLDM 的组件)来实现这一点。然后,为了解决训练数据限制并避免剽窃,我们利用节拍跟踪模型并提出两种不同的混合策略用于数据增强:节拍同步音频混合和节拍同步潜在混合,它们分别直接或通过潜在嵌入空间重新组合训练音频。这种混合策略鼓励模型在音乐训练样本之间进行插值,并在训练数据的凸包内生成新音乐,使生成的音乐更加多样化,同时仍然忠实于相应的风格。除了流行的评估指标外,我们还设计了几个基于 CLAP 分数的新评估指标,以证明我们提出的 MusicLDM 和节拍同步混合策略提高了生成音乐的质量和新颖性,以及输入文本和生成音乐之间的对应关系。
此 pipeline 由 sanchit-gandhi 贡献。
提示
在构建提示时,请记住
- 描述性提示输入效果最佳;使用形容词来描述声音(例如,“高质量”或“清晰”),并在可能的情况下使提示上下文具体化(例如,“具有快速节拍和合成器的旋律技术舞曲”比“技术舞曲”效果更好)。
- 使用负面提示词可以显著提高生成的音频质量。尝试使用 “low quality, average quality”(低质量,普通质量)的负面提示词。
推理过程中
- 生成的音频样本的质量可以通过
num_inference_steps
参数控制;更高的步数可以提供更高质量的音频,但会牺牲推理速度。 - 可以一次性生成多个波形:将
num_waveforms_per_prompt
设置为大于 1 的值即可启用。将对生成的波形和提示文本之间执行自动评分,并据此对音频进行从最佳到最差的排序。 - 生成的音频样本的长度可以通过调整
audio_length_in_s
参数来控制。
请务必查看调度器指南,了解如何探索调度器速度和质量之间的权衡,并查看跨 pipelines 重用组件部分,了解如何高效地将相同组件加载到多个 pipelines 中。
MusicLDMPipeline
类 diffusers.MusicLDMPipeline
< 源码 >( vae: AutoencoderKL text_encoder: typing.Union[transformers.models.clap.modeling_clap.ClapTextModelWithProjection, transformers.models.clap.modeling_clap.ClapModel] tokenizer: typing.Union[transformers.models.roberta.tokenization_roberta.RobertaTokenizer, transformers.models.roberta.tokenization_roberta_fast.RobertaTokenizerFast] feature_extractor: typing.Optional[transformers.models.clap.feature_extraction_clap.ClapFeatureExtractor] unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers vocoder: SpeechT5HifiGan )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型,用于将图像编码和解码为潜在表示。
- text_encoder (ClapModel) — 冻结的文本-音频嵌入模型 (
ClapTextModel
),特别是 laion/clap-htsat-unfused 变体。 - tokenizer (
PreTrainedTokenizer
) — 用于 token 化文本的 RobertaTokenizer。 - feature_extractor (ClapFeatureExtractor) — 特征提取器,用于从音频波形计算梅尔频谱图。
- unet (UNet2DConditionModel) — 用于对编码的音频潜在空间进行去噪的
UNet2DConditionModel
。 - scheduler (SchedulerMixin) — 调度器,与
unet
结合使用,以对编码的音频潜在空间进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - vocoder (SpeechT5HifiGan) —
SpeechT5HifiGan
类的声码器。
使用 MusicLDM 进行文本到音频生成的 Pipeline。
此模型继承自 DiffusionPipeline。查看超类文档以了解为所有 pipelines 实现的通用方法(下载、保存、在特定设备上运行等)。
__call__
< 源码 >( prompt: typing.Union[str, typing.List[str]] = None audio_length_in_s: typing.Optional[float] = None num_inference_steps: int = 200 guidance_scale: float = 2.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_waveforms_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: typing.Optional[int] = 1 cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None output_type: typing.Optional[str] = 'np' ) → AudioPipelineOutput 或 tuple
参数
- prompt (
str
或List[str]
, 可选的) — 用于引导音频生成的提示或提示列表。如果未定义,则需要传递prompt_embeds
。 - audio_length_in_s (
int
, 可选的, 默认为 10.24) — 生成的音频样本的长度,以秒为单位。 - num_inference_steps (
int
, 可选的, 默认为 200) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的音频,但会牺牲推理速度。 - guidance_scale (
float
, 可选的, 默认为 2.0) — 更高的 guidance scale 值会鼓励模型生成与文本prompt
紧密相关的音频,但会牺牲声音质量。当guidance_scale > 1
时,guidance scale 启用。 - negative_prompt (
str
或List[str]
, 可选的) — 用于引导音频生成中不应包含的内容的提示或提示列表。如果未定义,则需要传递negative_prompt_embeds
代替。当不使用 guidance(guidance_scale < 1
)时忽略。 - num_waveforms_per_prompt (
int
, 可选的, 默认为 1) — 每个提示要生成的波形数量。如果num_waveforms_per_prompt > 1
,则文本编码模型是联合文本-音频模型 (ClapModel),并且 tokenizer 是[~transformers.ClapProcessor]
,则将对生成的输出和输入文本之间执行自动评分。此评分根据生成的波形在联合文本-音频嵌入空间中与文本输入的余弦相似度对其进行排名。 - eta (
float
, 可选的, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler,在其他调度器中将被忽略。 - generator (
torch.Generator
或List[torch.Generator]
, 可选的) — 用于使生成具有确定性的torch.Generator
。 - latents (
torch.Tensor
, 可选的) — 预生成的、从高斯分布采样的噪声潜在空间,用作图像生成的输入。可用于使用不同的提示调整相同的生成结果。如果未提供,则潜在张量通过使用提供的随机generator
进行采样来生成。 - prompt_embeds (
torch.Tensor
, 可选的) — 预生成的文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,则文本嵌入从prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, 可选的) — 预生成的负面文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,则negative_prompt_embeds
从negative_prompt
输入参数生成。 - return_dict (
bool
, 可选的, 默认为True
) — 是否返回 AudioPipelineOutput 而不是普通元组。 - callback (
Callable
, 可选的) — 在推理期间每callback_steps
步调用的函数。该函数使用以下参数调用:callback(step: int, timestep: int, latents: torch.Tensor)
。 - callback_steps (
int
, 可选的, 默认为 1) — 调用callback
函数的频率。如果未指定,则在每个步骤都调用回调。 - cross_attention_kwargs (
dict
, 可选的) — 一个 kwargs 字典,如果指定,则会传递给self.processor
中定义的AttentionProcessor
。 - output_type (
str
, 可选, 默认为"np"
) — 生成音频的输出格式。在"np"
(返回 NumPynp.ndarray
) 或"pt"
(返回 PyTorchtorch.Tensor
对象) 之间选择。设置为"latent"
以返回潜在扩散模型 (LDM) 输出。
返回
AudioPipelineOutput 或 tuple
如果 return_dict
为 True
,则返回 AudioPipelineOutput,否则返回 tuple
,其中第一个元素是包含生成音频的列表。
管道的调用函数,用于生成。
示例
>>> from diffusers import MusicLDMPipeline
>>> import torch
>>> import scipy
>>> repo_id = "ucsd-reach/musicldm"
>>> pipe = MusicLDMPipeline.from_pretrained(repo_id, torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> prompt = "Techno music with a strong, upbeat tempo and high melodic riffs"
>>> audio = pipe(prompt, num_inference_steps=10, audio_length_in_s=5.0).audios[0]
>>> # save the audio sample as a .wav file
>>> scipy.io.wavfile.write("techno.wav", rate=16000, data=audio)
使用 accelerate 将所有模型卸载到 CPU,从而减少内存使用,且对性能的影响很小。与 enable_sequential_cpu_offload
相比,此方法在调用模型的 forward
方法时,一次将整个模型移动到 GPU,并且该模型在 GPU 中保留,直到下一个模型运行。内存节省低于 enable_sequential_cpu_offload
,但由于 unet
的迭代执行,性能要好得多。