Jukebox
此模型仅处于维护模式，我们不接受任何更改其代码的新 PR。如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.40.2。您可以通过运行以下命令来执行此操作：pip install -U transformers==4.40.2。
概述
Jukebox 模型在 Jukebox: A generative model for music 中提出，作者是 Prafulla Dhariwal、Heewoo Jun、Christine Payne、Jong Wook Kim、Alec Radford、Ilya Sutskever。它引入了一种生成音乐模型，可以生成时长一分钟的样本，这些样本可以根据艺术家、流派和歌词进行调节。
论文的摘要如下
我们介绍了 Jukebox，这是一种在原始音频域中生成带唱歌音乐的模型。我们使用多尺度 VQ-VAE 将原始音频的长上下文压缩为离散代码，并使用自回归 Transformer 对这些代码进行建模，从而解决原始音频的长上下文问题。我们表明，大规模的组合模型可以生成高保真度和多样化的歌曲，其连贯性可达数分钟。我们可以根据艺术家和流派来引导音乐和声乐风格，并根据未对齐的歌词使歌唱更可控。我们正在发布数千个非精选样本，以及模型权重和代码。
如下图所示，Jukebox 由 3 个 priors 组成，它们是仅解码器模型。它们遵循 Generating Long Sequences with Sparse Transformers 中描述的架构，并进行了修改以支持更长的上下文长度。首先，使用自动编码器对文本歌词进行编码。接下来，第一个（也称为 top_prior）prior 注意从歌词编码器中提取的最后一个隐藏状态。这些 priors 分别通过 AudioConditioner 模块链接到先前的 priors。AudioConditioner 将先前 prior 的输出上采样到以特定音频帧率/秒分辨率的原始 token。元数据（例如艺术家、流派和时间）以起始 token 和时间数据的 positional embedding 的形式传递给每个 prior。隐藏状态被映射到 VQVAE 中最接近的代码本向量，以便将它们转换为原始音频。
此模型由 Arthur Zucker 贡献。原始代码可以在这里找到。
使用技巧
- 此模型仅支持推理。这有几个原因，主要是因为它需要大量的内存进行训练。欢迎随时打开 PR 并添加缺少的内容，以便与 hugging face trainer 完全集成！
- 此模型速度非常慢，使用 V100 GPU 上的 5b top prior 生成一分钟的音频需要 8 小时。为了自动处理模型应在其上执行的设备，请使用
accelerate。 - 与论文相反，priors 的顺序从
0到1，因为它感觉更直观：我们从0开始采样。 - Primed sampling（基于原始音频调节采样）比祖先采样需要更多内存，应将
fp16设置为True时使用。
此模型由 Arthur Zucker 贡献。原始代码可以在这里找到。
JukeboxConfig
class transformers.JukeboxConfig
< source >( vqvae_config = None prior_config_list = None nb_priors = 3 sampling_rate = 44100 timing_dims = 64 min_duration = 0 max_duration = 600.0 max_nb_genres = 5 metadata_conditioning = True **kwargs )
参数
- vqvae_config (
JukeboxVQVAEConfig, 可选) —JukeboxVQVAE模型的配置。 - prior_config_list (
List[JukeboxPriorConfig], 可选) — 模型中每个JukeboxPrior的配置列表。原始架构使用 3 个先验模型。 - nb_priors (
int, 可选, 默认为 3) — 将按顺序采样 token 的先验模型数量。每个先验模型都是条件自回归（解码器）模型，除了顶部先验模型，它可以包含歌词编码器。可用的模型是使用顶部先验模型和 2 个上采样器先验模型进行训练的。 - sampling_rate (
int, 可选, 默认为 44100) — 原始音频的采样率。 - timing_dims (
int, 可选, 默认为 64) — JukeboxRangeEmbedding 层的维度，它等效于传统的位置嵌入层。时间嵌入层将当前采样音频中的绝对和相对位置转换为长度为timing_dims的张量，该张量将添加到音乐 token 中。 - min_duration (
int, 可选, 默认为 0) — 要生成的音频的最小持续时间 - max_duration (
float, 可选, 默认为 600.0) — 要生成的音频的最大持续时间 - max_nb_genres (
int, 可选, 默认为 5) — 可用于调节单个样本的最大流派数量。 - metadata_conditioning (
bool, 可选, 默认为True) — 是否使用元数据调节，对应于艺术家、流派和最小/最大持续时间。
这是用于存储 JukeboxModel 配置的配置类。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 中的文档。使用默认值实例化配置将产生与 openai/jukebox-1b-lyrics 架构类似的配置。
下采样和步幅用于确定输入序列的下采样。例如，downsampling = (5,3) 和 strides = (2, 2) 会将音频下采样 2^5 = 32 倍以获得第一级代码，并将下采样 2**8 = 256 倍以获得第二级代码。这对于训练顶级先验模型和上采样器模型尤其适用。
示例
>>> from transformers import JukeboxModel, JukeboxConfig
>>> # Initializing a Jukebox configuration
>>> configuration = JukeboxConfig()
>>> # Initializing a model from the configuration
>>> model = JukeboxModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configfrom_configs
< source >( prior_configs: List vqvae_config: JukeboxVQVAEConfig **kwargs ) → JukeboxConfig
从 clip 文本模型配置和 clip 视觉模型配置实例化 JukeboxConfig（或派生类）。
JukeboxPriorConfig
class transformers.JukeboxPriorConfig
< source >( act_fn = 'quick_gelu' level = 0 alignment_head = 2 alignment_layer = 68 attention_multiplier = 0.25 attention_pattern = 'enc_dec_with_lyrics' attn_dropout = 0 attn_res_scale = False blocks = 64 conv_res_scale = None num_layers = 72 emb_dropout = 0 encoder_config = None encoder_loss_fraction = 0.4 hidden_size = 2048 init_scale = 0.2 is_encoder_decoder = True lyric_vocab_size = 80 mask = False max_duration = 600 max_nb_genres = 1 merged_decoder = True metadata_conditioning = True metadata_dims = [604, 7898] min_duration = 0 mlp_multiplier = 1.0 music_vocab_size = 2048 n_ctx = 6144 n_heads = 2 nb_relevant_lyric_tokens = 384 res_conv_depth = 3 res_conv_width = 128 res_convolution_multiplier = 1 res_dilation_cycle = None res_dilation_growth_rate = 1 res_downs_t = [3, 2, 2] res_strides_t = [2, 2, 2] resid_dropout = 0 sampling_rate = 44100 spread = None timing_dims = 64 zero_out = False **kwargs )
参数
- act_fn (
str, 可选, 默认为"quick_gelu") — 激活函数。 - alignment_head (
int, 可选, 默认为 2) — 负责歌词和音乐之间对齐的 Head。仅用于计算歌词到音频的对齐 - alignment_layer (
int, 可选, 默认为 68) — 负责歌词和音乐之间对齐的层的索引。仅用于计算歌词到音频的对齐 - attention_multiplier (
float, 可选, 默认为 0.25) — 用于定义注意力层隐藏维度的乘数系数。0.25 表示将使用模型宽度的 0.25 倍。 - attention_pattern (
str, 可选, 默认为"enc_dec_with_lyrics") — 用于解码器的注意力模式/ - attn_dropout (
int, 可选, 默认为 0) — 解码器中后注意力层 dropout 的 dropout 概率。 - attn_res_scale (
bool, 可选, 默认为False) — 是否缩放注意力调节器模块中的残差。 - blocks (
int, 可选, 默认为 64) —block_attn中使用的块的数量。长度为seq_len的序列在JukeboxAttention层中被分解为[blocks, seq_len // blocks]。 - conv_res_scale (
int, 可选) — 是否在调节器块中缩放残差。由于顶层先验没有调节器，因此默认值为 None，不应修改。 - num_layers (
int, 可选, 默认为 72) — Transformer 架构的层数。 - emb_dropout (
int, 可选, 默认为 0) — 歌词解码器中使用的嵌入 dropout。 - encoder_config (
JukeboxPriorConfig, 可选) — 对歌词的先验进行建模的编码器的配置。 - encoder_loss_fraction (
float, 可选, 默认为 0.4) — 歌词编码器损失前使用的乘法因子。 - hidden_size (
int, 可选, 默认为 2048) — 注意力层的隐藏维度。 - init_scale (
float, 可选, 默认为 0.2) — 先验模块的初始化尺度。 - is_encoder_decoder (
bool, 可选, 默认为True) — 先验是否为编码器-解码器模型。如果不是，并且nb_relevant_lyric_tokens大于 0，则应为歌词编码指定encoder参数。 - mask (
bool, 可选, 默认为False) — 是否在注意力中屏蔽先前的位置。 - max_duration (
int, 可选, 默认为 600) — 生成歌曲的最大支持时长，以秒为单位。 - max_nb_genres (
int, 可选, 默认为 1) — 可用于调节模型的最大流派数量。 - merged_decoder (
bool, 可选, 默认为True) — 解码器和编码器输入是否合并。这用于分离的编码器-解码器架构。 - metadata_conditioning (
bool, 可选, 默认为True) — 是否以艺术家和流派元数据为条件。 - metadata_dims (
List[int], 可选, 默认为[604, 7898]) — 用于训练先验模型的嵌入层的流派数量和艺术家数量。 - min_duration (
int, 可选, 默认为 0) — 模型训练时使用的生成音频的最小持续时间。 - mlp_multiplier (
float, 可选, 默认为 1.0) — 用于定义 MLP 层隐藏维度的乘法系数。0.25 表示将使用模型宽度的 0.25 倍。 - music_vocab_size (
int, 可选, 默认为 2048) — 不同音乐 tokens 的数量。应类似于JukeboxVQVAEConfig.nb_discrete_codes。 - n_ctx (
int, 可选, 默认为 6144) — 每个先验的上下文 tokens 数量。上下文 tokens 是生成音乐 tokens 时所注意到的音乐 tokens。 - n_heads (
int, 可选, 默认为 2) — 注意力头的数量。 - nb_relevant_lyric_tokens (
int, 可选, 默认为 384) — 对长度为n_ctx的单个窗口进行采样时使用的歌词 tokens 数量。 - res_conv_depth (
int, 可选, 默认为 3) —JukeboxDecoderConvBock的深度，用于在JukeboxMusicTokenConditioner中上采样先前采样的音频。 - res_conv_width (
int, 可选, 默认为 128) —JukeboxDecoderConvBock的宽度，用于在JukeboxMusicTokenConditioner中上采样先前采样的音频。 - res_convolution_multiplier (
int, 可选, 默认为 1) — 用于缩放JukeboxResConv1DBlock的hidden_dim的乘数。 - res_dilation_cycle (
int, 可选) — 用于定义JukeboxMusicTokenConditioner的扩张周期。通常与 VQVAE 相应级别中使用的周期类似。第一个先验不使用它，因为它不受上层 tokens 的调节。 - res_dilation_growth_rate (
int, 可选, 默认为 1) —JukeboxMusicTokenConditioner的每个卷积块之间使用的扩张增长率。 - res_downs_t (
List[int], 可选, 默认为[3, 2, 2]) — 音频调节网络中使用的下采样率。 - res_strides_t (
List[int], 可选, 默认为[2, 2, 2]) — 音频调节网络中使用的步幅。 - resid_dropout (
int, 可选, 默认为 0) — 注意力模式中使用的残差 dropout。 - sampling_rate (
int, 可选, 默认为 44100) — 训练中使用的采样率。 - spread (
int, 可选) —summary_spread_attention模式中使用的 spread。 - timing_dims (
int, 可选, 默认为 64) — timing 嵌入的维度。 - zero_out (
bool, 可选, 默认为False) — 是否在初始化时将卷积权重归零。
这是用于存储 JukeboxPrior 配置的配置类。它用于根据指定的参数实例化 JukeboxPrior，定义模型架构。使用默认值实例化配置将产生与来自 [openai/jukebox-1b-lyrics](http://huggingface.co/openai/jukebox -1b-lyrics) 架构的顶层先验相似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
JukeboxVQVAEConfig
class transformers.JukeboxVQVAEConfig
< source >( act_fn = 'relu' nb_discrete_codes = 2048 commit = 0.02 conv_input_shape = 1 conv_res_scale = False embed_dim = 64 hop_fraction = [0.125, 0.5, 0.5] levels = 3 lmu = 0.99 multipliers = [2, 1, 1] res_conv_depth = 4 res_conv_width = 32 res_convolution_multiplier = 1 res_dilation_cycle = None res_dilation_growth_rate = 3 res_downs_t = [3, 2, 2] res_strides_t = [2, 2, 2] sample_length = 1058304 init_scale = 0.2 zero_out = False **kwargs )
参数
- act_fn (
str, 可选, 默认为"relu") — 模型的激活函数。 - nb_discrete_codes (
int, 可选, 默认为 2048) — VQVAE 的代码数量。 - commit (
float, 可选, 默认为 0.02) — Commit 损失乘数。 - conv_input_shape (
int, 可选, 默认为 1) — 音频通道数。 - conv_res_scale (
bool, 可选, 默认为False) — 是否缩放JukeboxResConv1DBlock的残差。 - embed_dim (
int, 可选, 默认为 64) — 代码本向量的嵌入维度。 - hop_fraction (
List[int], 可选, 默认为[0.125, 0.5, 0.5]) — 在继续采样过程时使用的非相交窗口的分数。 - levels (
int, 可选, 默认为 3) — VQVAE 中使用的层级数量。 - lmu (
float, 可选, 默认为 0.99) — 代码本更新中使用的指数移动平均系数。有关更多详细信息，请参阅原始 VQVAE 论文 的附录 A.1 - multipliers (
List[int], 可选, 默认为[2, 1, 1]) — 用于每个级别的深度和宽度乘数。用于res_conv_width和res_conv_depth - res_conv_depth (
int, 可选, 默认为 4) — 编码器和解码器块的深度。 如果未使用multipliers，则每个级别都相同。 - res_conv_width (
int, 可选, 默认为 32) — 编码器和解码器块的宽度。 如果未使用multipliers，则每个级别都相同。 - res_convolution_multiplier (
int, 可选, 默认为 1) —JukeboxResConv1DBlock中使用的隐藏维度缩放因子。 - res_dilation_cycle (
int, 可选) —JukeboxResnet中使用的扩张循环值。 如果使用整数，则每个新的 Conv1 块的深度将减少res_dilation_cycle的幂。 - res_dilation_growth_rate (
int, 可选, 默认为 3) — VQVAE 中使用的 Resnet 扩张增长率 (dilation_growth_rate ** depth) - res_downs_t (
List[int], 可选, 默认为[3, 2, 2]) — 分层 VQ-VAE 每个级别的下采样率。 - res_strides_t (
List[int], 可选, 默认为[2, 2, 2]) — 分层 VQ-VAE 每个级别使用的步幅。 - sample_length (
int, 可选, 默认为 1058304) — 提供 VQVAE 的最大输入形状。用于计算每个级别的输入形状。 - init_scale (
float, 可选, 默认为 0.2) — 初始化比例。 - zero_out (
bool, 可选, 默认为False) — 是否在初始化时将卷积权重归零。
这是用于存储 JukeboxVQVAE 配置的配置类。它用于根据指定的参数实例化 JukeboxVQVAE，定义模型架构。使用默认值实例化配置将产生与来自 openai/jukebox-1b-lyrics 架构的 VQVAE 相似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
JukeboxTokenizer
class transformers.JukeboxTokenizer
< source >( artists_file genres_file lyrics_file version = ['v3', 'v2', 'v2'] max_n_lyric_tokens = 512 n_genres = 5 unk_token = '<|endoftext|>' **kwargs )
参数
- artists_file (
str) — 包含艺术家和 ID 之间映射的词汇表文件的路径。默认文件同时支持 “v2” 和 “v3” 版本。 - genres_file (
str) — 包含流派和 ID 之间映射的词汇表文件的路径。 - lyrics_file (
str) — 词汇表文件的路径，其中包含歌词分词的接受字符。 - version (
List[str],optional, default to["v3", "v2", "v2"]) — 分词器版本的列表。5b-lyrics的顶层先验模型是使用v3而不是v2训练的。 - n_genres (
int,optional, defaults to 1) — 用于作曲的最大流派数量。 - max_n_lyric_tokens (
int,optional, defaults to 512) — 要保留的最大歌词 tokens 数量。 - unk_token (
str, optional, defaults to"<|endoftext|>") — 未知 token。词汇表中不存在的 token 无法转换为 ID，而是设置为此 token。
构建 Jukebox 分词器。Jukebox 可以基于 3 种不同的输入进行条件设置
- 艺术家，唯一的 ID 与提供的字典中每个艺术家相关联。
- 流派，唯一的 ID 与提供的字典中每个流派相关联。
- 歌词，基于字符的分词。必须使用词汇表内的字符列表进行初始化。
此分词器不需要训练。它应该能够处理不同数量的输入：因为模型的条件设置可以在三个不同的查询上完成。如果未提供任何内容，将使用默认值。
取决于模型应基于多少流派进行条件设置 (n_genres)。
>>> from transformers import JukeboxTokenizer
>>> tokenizer = JukeboxTokenizer.from_pretrained("openai/jukebox-1b-lyrics")
>>> tokenizer("Alan Jackson", "Country Rock", "old town road")["input_ids"]
[tensor([[ 0, 0, 0, 6785, 546, 41, 38, 30, 76, 46, 41, 49,
40, 76, 44, 41, 27, 30]]), tensor([[ 0, 0, 0, 145, 0]]), tensor([[ 0, 0, 0, 145, 0]])]您可以通过在实例化此分词器或在某些文本上调用它时传递 add_prefix_space=True 来绕过此行为，但由于模型并非以此方式预训练，因此可能会导致性能下降。
如果未提供任何内容，流派和艺术家将随机选择或设置为 None
此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考：此超类以获取有关这些方法的更多信息。
但是，代码不允许这样做，仅支持从各种流派进行组合。
save_vocabulary
< source >( save_directory: str filename_prefix: Optional = None )
将分词器的词汇表字典保存到提供的 save_directory。
JukeboxModel
class transformers.JukeboxModel
< source >( config )
参数
- config (
JukeboxConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
用于音乐生成的裸 JUKEBOX 模型。支持 4 种采样技术：primed_sample、upsample、continue_sample 和 ancestral_sample。它没有 forward 方法，因为训练不是端到端的。如果您想微调模型，建议使用 JukeboxPrior 类并单独训练每个先验模型。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与常规用法和行为相关的所有事项。
ancestral_sample
< source >( labels n_samples = 1 **sampling_kwargs )
基于提供的 labels 生成音乐 token。将从所需的先验级别开始，并自动上采样序列。如果要创建音频，则应调用 model.decode(tokens)，这将使用 VQ-VAE 解码器将音乐 token 转换为原始音频。
示例
>>> from transformers import AutoTokenizer, JukeboxModel, set_seed
>>> model = JukeboxModel.from_pretrained("openai/jukebox-1b-lyrics", min_duration=0).eval()
>>> tokenizer = AutoTokenizer.from_pretrained("openai/jukebox-1b-lyrics")
>>> lyrics = "Hey, are you awake? Can you talk to me?"
>>> artist = "Zac Brown Band"
>>> genre = "Country"
>>> metas = tokenizer(artist=artist, genres=genre, lyrics=lyrics)
>>> set_seed(0)
>>> music_tokens = model.ancestral_sample(metas.input_ids, sample_length=400)
>>> with torch.no_grad():
... model.decode(music_tokens)[:, :10].squeeze(-1)
tensor([[-0.0219, -0.0679, -0.1050, -0.1203, -0.1271, -0.0936, -0.0396, -0.0405,
-0.0818, -0.0697]])primed_sample
< source >( raw_audio labels **sampling_kwargs )
参数
- raw_audio (
List[torch.Tensor]of lengthn_samples) — 原始音频列表，将用作每个要生成的样本的条件信息。 - labels (
List[torch.LongTensor]of lengthn_sample, and shape(self.levels, self.config.max_nb_genre + lyric_sequence_length)— 元数据列表，例如artist_id、genre_id和用于条件生成的完整歌词 token 列表。 - sampling_kwargs (
Dict[Any]) —_sample函数使用的各种其他采样参数。参数的详细列表可以在_sample函数文档中看到。
生成以提供的 raw_audio 为条件的原始音频，该音频用作每个生成级别的条件。音频使用 VQ-VAE 的 3 个级别编码为音乐 token。这些 token 用作每个级别的条件，这意味着不需要祖先采样。
continue_sample
< source >( music_tokens labels **sampling_kwargs )
参数
- music_tokens (
List[torch.LongTensor]of lengthself.levels) — 音乐 token 序列，将用作继续采样过程的上下文。应具有self.levels个张量，每个张量对应于特定级别的生成。 - labels (
List[torch.LongTensor]of lengthn_sample, and shape(self.levels, self.config.max_nb_genre + lyric_sequence_length)— 元数据列表，例如artist_id、genre_id和用于条件生成的完整歌词 token 列表。 - sampling_kwargs (
Dict[Any]) —_sample函数使用的各种其他采样参数。参数的详细列表可以在_sample函数文档中看到。
生成先前生成的 token 的延续。
upsample
< source >( music_tokens labels **sampling_kwargs )
参数
- music_tokens (
List[torch.LongTensor]，长度为self.levels) — 将用作上下文以继续采样过程的音乐 tokens 序列。应具有self.levels个 tensors，每个 tensor 对应于特定级别的生成。 - labels (
List[torch.LongTensor]，长度为n_sample，形状为(self.levels, self.config.max_nb_genre + lyric_sequence_length)) — 元数据列表，例如artist_id、genre_id和完整的歌词 tokens 列表，用于调节生成过程。 - sampling_kwargs (
Dict[Any]) — 由_sample函数使用的各种附加采样参数。参数的详细列表可以在_sample函数文档中查看。
使用级别 level 的先验对音乐 tokens 序列进行上采样。
_sample
< source >( music_tokens labels sample_levels metas = None chunk_size = 32 sampling_temperature = 0.98 lower_batch_size = 16 max_batch_size = 16 sample_length_in_seconds = 24 compute_alignments = False sample_tokens = None offset = 0 save_results = True sample_length = None )
参数
- music_tokens (
List[torch.LongTensor]) — 长度为self.levels的音乐 tokens 序列，将用作上下文以继续采样过程。应具有self.levels个 tensors，每个 tensor 对应于特定级别的生成。 - labels (
List[torch.LongTensor]) — 长度为n_sample的列表，形状为(self.levels, 4 + self.config.max_nb_genre + lyric_sequence_length)的元数据，例如artist_id、genre_id和完整的歌词 tokens 列表，用于调节生成过程。 - sample_levels (
List[int]) — 将在其中进行采样的所需级别列表。级别等同于先验列表中先验的索引 - metas (
List[Any], 可选) — 用于生成labels的元数据 - chunk_size (
int, 可选, 默认为 32) — 音频块的大小，用于分块填充内存以防止 OOM 错误。较大的块意味着更快的内存填充，但消耗更多。 - sampling_temperature (
float, 可选, 默认为 0.98) — 用于调整采样的随机性的温度。 - lower_batch_size (
int, 可选, 默认为 16) — 较低级别先验的最大批次大小 - max_batch_size (
int, 可选, 默认为 16) — 顶层先验的最大批次大小 - sample_length_in_seconds (
int, 可选, 默认为 24) — 生成所需的长度，以秒为单位 - compute_alignments (
bool, 可选, 默认为False) — 是否使用 top_prior 计算歌词和音频之间的对齐。 - sample_tokens (
int, 可选) — 应在每个级别采样的精确 tokens 数量。这主要用于运行虚拟实验 - offset (
int, 可选, 默认为 0) — 用作调节的音频偏移量，对应于音乐中的起始样本。如果偏移量大于 0，则歌词将移动以考虑在内 - save_results (
bool, 可选, 默认为True) — 是否保存中间结果。如果为True，将生成一个以开始时间命名的文件夹。 - sample_length (
int, 可选) — 生成所需的长度，以样本数为单位。
用于生成音乐 tokens 的核心采样函数。遍历提供的级别列表，同时保存每个步骤生成的原始音频。
返回值: torch.Tensor
示例
>>> from transformers import AutoTokenizer, JukeboxModel, set_seed
>>> import torch
>>> metas = dict(artist="Zac Brown Band", genres="Country", lyrics="I met a traveller from an antique land")
>>> tokenizer = AutoTokenizer.from_pretrained("openai/jukebox-1b-lyrics")
>>> model = JukeboxModel.from_pretrained("openai/jukebox-1b-lyrics", min_duration=0).eval()
>>> labels = tokenizer(**metas)["input_ids"]
>>> set_seed(0)
>>> zs = [torch.zeros(1, 0, dtype=torch.long) for _ in range(3)]
>>> zs = model._sample(zs, labels, [0], sample_length=40 * model.priors[0].raw_to_tokens, save_results=False)
>>> zs[0]
tensor([[1853, 1369, 1150, 1869, 1379, 1789, 519, 710, 1306, 1100, 1229, 519,
353, 1306, 1379, 1053, 519, 653, 1631, 1467, 1229, 1229, 10, 1647,
1254, 1229, 1306, 1528, 1789, 216, 1631, 1434, 653, 475, 1150, 1528,
1804, 541, 1804, 1434]])JukeboxPrior
class transformers.JukeboxPrior
< source >( config: JukeboxPriorConfig level = None nb_priors = 3 vqvae_encoder = None vqvae_decoder = None )
参数
- config (
JukeboxPriorConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。 - level (
int, 可选) — Prior 的当前级别。应在范围[0,nb_priors]内。 - nb_priors (
int, 可选, 默认为 3) — 先验的总数。 - vqvae_encoder (
Callable, 可选) — VQVAE 编码器的编码方法，用于模型的前向传递。传递函数而不是 vqvae 模块以避免获取参数。 - vqvae_decoder (
Callable, 可选) — VQVAE 解码器的解码方法，用于模型的前向传递。传递函数而不是 vqvae 模块以避免获取参数。
JukeboxPrior 类，它是各种条件和 transformer 的包装器。 JukeboxPrior 可以看作是在音乐上训练的语言模型。它们对下一个 music token 预测任务进行建模。如果定义了（歌词） encoder，它还会对歌词上的“下一个字符”预测进行建模。可以根据时间、艺术家、流派、歌词和来自较低级别 Prior 的代码进行调节。
sample
< source >( n_samples music_tokens = None music_tokens_conds = None metadata = None temp = 1.0 top_k = 0 top_p = 0.0 chunk_size = None sample_tokens = None )
参数
- n_samples (
int) — 生成的样本数量。 - music_tokens (
List[torch.LongTensor], 可选) — 当前级别先前生成的 tokens。用作生成的上下文。 - music_tokens_conds (
List[torch.FloatTensor], 可选) — 先前先验模型生成的上层音乐 tokens。如果生成不以上层 tokens 为条件，则为None。 - metadata (
List[torch.LongTensor], 可选) — 包含带有艺术家、流派和歌词 tokens 的元数据 tensor 的列表。 - temp (
float, 可选, 默认为 1.0) — 采样温度。 - top_k (
int, 可选, 默认为 0) — 用于过滤的 Top k 概率。 - top_p (
float, 可选, 默认为 0.0) — 用于过滤的 Top p 概率。 - chunk_size (
int, 可选) — 用于准备 transformer 缓存的块的大小。 - sample_tokens (
int, 可选) — 要采样的 tokens 数量。
使用提供的条件和元数据，对 tokens 窗口进行祖先/Prime 采样。
forward
< source >( hidden_states: Tensor metadata: Optional decode: Optional = False get_preds: Optional = False )
使用 vqvae 编码器编码隐藏状态，然后在 forward_tokens 函数中预测下一个 token。损失是 encoder 损失和 decoder 损失的总和。
JukeboxVQVAE
class transformers.JukeboxVQVAE
< source >( config: JukeboxVQVAEConfig )
参数
- config (
JukeboxConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
Jukebox 中使用的分层 VQ-VAE 模型。此模型遵循 Will Williams, Sam Ringer, Tom Ash, John Hughes, David MacLeod, Jamie Dougherty 的分层 VQVAE 论文。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与常规用法和行为相关的所有事项。
VQ-VAE 的前向传播，将 raw_audio 编码为潜在状态，然后为每个级别解码。计算提交损失，这确保了编码器计算的 embeddings 与码本向量接近。
将 input_audio 转换为由 music_tokens 组成的离散表示。
将输入的 music_tokens 转换为其 raw_audio 表示形式。