Diffusers 文档

Dance Diffusion

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

Dance Diffusion

Dance Diffusion 由 Zach Evans 制作。

Dance Diffusion 是 Harmonai 发布的用于制作人和音乐家的生成音频工具套件中的第一个。

请务必查看调度器指南,了解如何探索调度器速度和质量之间的权衡,并查看跨管道重用组件部分,了解如何高效地将相同组件加载到多个管道中。

DanceDiffusionPipeline

diffusers.DanceDiffusionPipeline

< >

( unet: UNet1DModel scheduler: SchedulerMixin )

参数

  • unet (UNet1DModel) — 用于对编码音频进行去噪的 UNet1DModel
  • scheduler (SchedulerMixin) — 与 unet 结合使用的调度器,用于对编码音频的潜在表示进行去噪。可以是 IPNDMScheduler 之一。

用于音频生成的管道。

此模型继承自 DiffusionPipeline。有关所有管道实现的通用方法(下载、保存、在特定设备上运行等),请查看超类文档。

__call__

< >

( batch_size: int = 1 num_inference_steps: int = 100 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None audio_length_in_s: typing.Optional[float] = None return_dict: bool = True ) AudioPipelineOutputtuple

参数

  • batch_size (int, 可选, 默认为 1) — 要生成的音频样本数量。
  • num_inference_steps (int, 可选, 默认为 50) — 去噪步数。更多的去噪步数通常会带来更高质量的音频样本,但推理速度会变慢。
  • generator (torch.Generator, 可选) — 一个 torch.Generator,用于使生成过程确定。
  • audio_length_in_s (float, 可选, 默认为 self.unet.config.sample_size/self.unet.config.sample_rate) — 生成音频样本的长度(秒)。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 AudioPipelineOutput 而不是普通的元组。

返回

AudioPipelineOutputtuple

如果 return_dictTrue,则返回 AudioPipelineOutput,否则返回一个 tuple,其中第一个元素是生成的音频列表。

用于生成的管道的调用函数。

示例

from diffusers import DiffusionPipeline
from scipy.io.wavfile import write

model_id = "harmonai/maestro-150k"
pipe = DiffusionPipeline.from_pretrained(model_id)
pipe = pipe.to("cuda")

audios = pipe(audio_length_in_s=4.0).audios

# To save locally
for i, audio in enumerate(audios):
    write(f"maestro_test_{i}.wav", pipe.unet.sample_rate, audio.transpose())

# To display in google colab
import IPython.display as ipd

for audio in audios:
    display(ipd.Audio(audio, rate=pipe.unet.sample_rate))

AudioPipelineOutput

diffusers.AudioPipelineOutput

< >

( audios: ndarray )

参数

  • audios (np.ndarray) — 去噪音频样本列表,是形状为 (batch_size, num_channels, sample_rate) 的 NumPy 数组。

音频流水线的输出类。

< > 在 GitHub 上更新