Diffusers 文档
Dance Diffusion
加入 Hugging Face 社区
并获取增强的文档体验
开始使用
Dance Diffusion
Dance Diffusion 由 Zach Evans 开发。
Dance Diffusion 是 Harmonai 发布的面向制作人和音乐家的生成式音频工具套件中的第一个。
请务必查看调度器指南,了解如何探索调度器速度和质量之间的权衡,并查看跨 pipelines 重用组件部分,了解如何有效地将相同组件加载到多个 pipelines 中。
DanceDiffusionPipeline
class diffusers.DanceDiffusionPipeline
< source >( unet scheduler )
参数
- unet (UNet1DModel) — 用于去噪编码音频的
UNet1DModel
。 - scheduler (SchedulerMixin) — 一个调度器,与
unet
结合使用,以去噪编码的音频潜在表示。可以是 IPNDMScheduler 之一。
用于音频生成的 Pipeline。
此模型继承自 DiffusionPipeline。查看超类文档以获取为所有 pipelines 实现的通用方法(下载、保存、在特定设备上运行等)。
__call__
< source >( batch_size: int = 1 num_inference_steps: int = 100 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None audio_length_in_s: typing.Optional[float] = None return_dict: bool = True ) → AudioPipelineOutput 或 tuple
参数
- batch_size (
int
, 可选, 默认为 1) — 要生成的音频样本数量。 - num_inference_steps (
int
, 可选, 默认为 50) — 去噪步骤的数量。 更多的去噪步骤通常会生成更高质量的音频样本,但会以较慢的推理速度为代价。 - generator (
torch.Generator
, 可选) — 用于使生成结果具有确定性的torch.Generator
。 - audio_length_in_s (
float
, 可选, 默认为self.unet.config.sample_size/self.unet.config.sample_rate
) — 生成的音频样本的长度,以秒为单位。 - return_dict (
bool
, 可选, 默认为True
) — 是否返回 AudioPipelineOutput 而不是普通的 tuple。
返回值
AudioPipelineOutput 或 tuple
如果 return_dict
为 True
,则返回 AudioPipelineOutput,否则返回 tuple
,其中第一个元素是包含生成的音频的列表。
用于生成 pipeline 的调用函数。
示例
from diffusers import DiffusionPipeline
from scipy.io.wavfile import write
model_id = "harmonai/maestro-150k"
pipe = DiffusionPipeline.from_pretrained(model_id)
pipe = pipe.to("cuda")
audios = pipe(audio_length_in_s=4.0).audios
# To save locally
for i, audio in enumerate(audios):
write(f"maestro_test_{i}.wav", pipe.unet.sample_rate, audio.transpose())
# To dislay in google colab
import IPython.display as ipd
for audio in audios:
display(ipd.Audio(audio, rate=pipe.unet.sample_rate))
AudioPipelineOutput
class diffusers.AudioPipelineOutput
< source >( audios: ndarray )
音频 pipelines 的输出类。