PatchTSMixer
概述
PatchTSMixer 模型由 Vijay Ekambaram、Arindam Jati、Nam Nguyen、Phanwadee Sinthong 和 Jayant Kalagnanam 在 TSMixer：用于多元时间序列预测的轻量级 MLP-Mixer 模型 中提出。
PatchTSMixer 是一种基于 MLP-Mixer 架构的轻量级时间序列建模方法。在这个 HuggingFace 实现中，我们提供了 PatchTSMixer 的功能，可以轻松地促进跨补丁、通道和隐藏特征的轻量级混合，以便有效地进行多元时间序列建模。它还支持各种注意力机制，从简单的门控注意力到更复杂的自注意力块，可以根据需要进行自定义。该模型可以进行预训练，随后可用于各种下游任务，例如预测、分类和回归。
论文摘要如下：
TSMixer 是一种轻量级神经网络架构，仅由多层感知器 (MLP) 模块组成，专为分段时间序列上的多元预测和表示学习而设计。我们的模型借鉴了计算机视觉中 MLP-Mixer 模型的成功经验。我们展示了将 Vision MLP-Mixer 应用于时间序列所面临的挑战，并引入了经实证验证的组件以提高准确性。这包括一种新颖的设计范式，即将在线协调头附加到 MLP-Mixer 主干，以显式建模时间序列属性，例如层次结构和通道相关性。我们还提出了一种混合通道建模方法，以有效处理嘈杂的通道交互和跨不同数据集的泛化，这是现有补丁通道混合方法中常见的挑战。此外，在主干中引入了一种简单的门控注意力机制来优先处理重要特征。通过整合这些轻量级组件，我们显着增强了简单 MLP 结构的学习能力，在计算量最小的前提下，性能超过了复杂的 Transformer 模型。此外，TSMixer 的模块化设计使其能够兼容监督和掩码自监督学习方法，使其成为时间序列基础模型的有希望的构建块。TSMixer 在预测方面以 8-60% 的可观优势优于最先进的 MLP 和 Transformer 模型。它还以显着减少的内存和运行时间 (2-3 倍) 优于最新的 Patch-Transformer 模型的强大基准 (1-2%)。
该模型由 ajati、vijaye12、gsinthong、namctin、wmgifford 和 kashif 贡献。
使用示例
以下代码片段展示了如何随机初始化 PatchTSMixer 模型。该模型与 Trainer API 兼容。
from transformers import PatchTSMixerConfig, PatchTSMixerForPrediction
from transformers import Trainer, TrainingArguments,
config = PatchTSMixerConfig(context_length = 512, prediction_length = 96)
model = PatchTSMixerForPrediction(config)
trainer = Trainer(model=model, args=training_args,
train_dataset=train_dataset,
eval_dataset=valid_dataset)
trainer.train()
results = trainer.evaluate(test_dataset)使用技巧
该模型也可用于时间序列分类和时间序列回归。请参阅相应的 PatchTSMixerForTimeSeriesClassification 和 PatchTSMixerForRegression 类。
资源
- 一篇深入解释 PatchTSMixer 的博文可以在这里找到 此处。该博文也可以在 Google Colab 中打开。
PatchTSMixerConfig
类 transformers.PatchTSMixerConfig
< 源代码 >( context_length: int = 32 patch_length: int = 8 num_input_channels: int = 1 patch_stride: int = 8 num_parallel_samples: int = 100 d_model: int = 8 expansion_factor: int = 2 num_layers: int = 3 dropout: float = 0.2 mode: str = 'common_channel' gated_attn: bool = True norm_mlp: str = 'LayerNorm' self_attn: bool = False self_attn_heads: int = 1 use_positional_encoding: bool = False positional_encoding_type: str = 'sincos' scaling: Union = 'std' loss: str = 'mse' init_std: float = 0.02 post_init: bool = False norm_eps: float = 1e-05 mask_type: str = 'random' random_mask_ratio: float = 0.5 num_forecast_mask_patches: Union = [2] mask_value: int = 0 masked_loss: bool = True channel_consistent_masking: bool = True unmasked_channel_indices: Optional = None head_dropout: float = 0.2 distribution_output: str = 'student_t' prediction_length: int = 16 prediction_channel_indices: list = None num_targets: int = 3 output_range: list = None head_aggregation: str = 'max_pool' **kwargs )
参数
- context_length (
int, 可选，默认为 32) — 输入序列的上下文/历史长度。 - patch_length (
int, 可选，默认为 8) — 输入序列的补丁长度。 - num_input_channels (
int, 可选，默认为 1) — 输入变量的数量。对于单变量，将其设置为 1。 - patch_stride (
int, 可选，默认为 8) — 确定两个连续补丁之间的重叠。如果我们想要不重叠的补丁，则将其设置为 patch_length（或更大）。 - num_parallel_samples (
int, 可选，默认为 100) — 为概率预测并行生成的样本数。 - d_model (
int, 可选，默认为 8) — 模型的隐藏维度。建议将其设置为 patch_length 的倍数（即 patch_length 的 2-5 倍）。较大的值表示更复杂的模型。 - expansion_factor (
int, 可选，默认为 2) — 在 MLP 内部使用的扩展因子。建议范围为 2-5。较大的值表示更复杂的模型。 - num_layers (
int, 可选，默认为 3) — 要使用的层数。建议范围为 3-15。较大的值表示更复杂的模型。 - dropout (
float, 可选，默认为 0.2) —PatchTSMixer主干的 dropout 概率。建议范围为 0.2-0.7 - mode (
str, 可选，默认为"common_channel") — Mixer 模式。确定如何处理通道。允许的值：“common_channel”、“mix_channel”。在“common_channel”模式下，我们遵循通道无关建模，没有显式的通道混合。通道混合以隐式方式通过跨通道共享权重发生。（首选第一种方法）在“mix_channel”模式下，除了补丁和特征混合器之外，我们还遵循显式通道混合。（当通道相关性对模型非常重要时，首选方法） - self_attn (
bool, 可选, 默认为False) — 在补丁之间启用 Tiny 自注意力。当使用门控注意力的 Vanilla PatchTSMixer 的输出不令人满意时，可以启用此功能。启用此功能会导致跨补丁的显式成对注意力和建模。 - self_attn_heads (
int, 可选, 默认为 1) — 自注意力头的数量。仅当self_attn设置为True时有效。 - use_positional_encoding (
bool, 可选, 默认为False) — 启用对小型自注意力层使用位置嵌入。仅当self_attn设置为True时有效。 - positional_encoding_type (
str, 可选, 默认为"sincos") — 位置编码。支持"random"和"sincos"选项。仅当use_positional_encoding设置为True时有效 - scaling (
string或bool, 可选, 默认为"std") — 是否通过“mean”缩放器、“std”缩放器或无缩放器（如果为None）来缩放输入目标。如果为True，则缩放器设置为“mean”。 - loss (
string, 可选, 默认为"mse") — 与distribution_output头对应的模型的损失函数。对于参数分布，它是负对数似然 (“nll”)，对于点估计，它是均方误差“mse”。 - init_std (
float, 可选, 默认为 0.02) — 截断正态权重初始化分布的标准差。 - post_init (
bool, 可选, 默认为False) — 是否使用来自transformers库的自定义权重初始化，或者PyTorch中的默认初始化。将其设置为False将执行PyTorch权重初始化。 - norm_eps (
float, 可选, 默认为 1e-05) — 添加到分母中的值，用于保证归一化的数值稳定性。 - num_forecast_mask_patches (
int或list, 可选, 默认为[2]) — 每个批次样本末尾需要掩码的补丁数量。如果为整数，则批次中的所有样本都将具有相同数量的掩码补丁。如果为列表，则批次中的样本将被列表中定义的数字随机掩码。此参数仅用于预测预训练。 - mask_value (
float, 可选, 默认为0.0) — 使用的掩码值。 - masked_loss (
bool, 可选, 默认为True) — 是否仅在掩码部分计算预训练损失，或在整个输出上计算。 - channel_consistent_masking (
bool, 可选, 默认为True) — 当为真时，掩码在时间序列的所有通道中都相同。否则，掩码位置将在通道之间变化。 - unmasked_channel_indices (
list, 可选) — 预训练期间未被掩码的通道。 - head_dropout (
float, 可选, 默认为 0.2) —PatchTSMixer头部的 dropout 概率。 - distribution_output (
string, 可选, 默认为"student_t") — 当损失为“nll”时，模型的分布发射头部。可以是“student_t”、“normal”或“negative_binomial”。 - prediction_length (
int, 可选, 默认为 16) — 预测任务的预测时间步长。也称为预测范围。 - prediction_channel_indices (
list, 可选) — 需要预测的通道索引列表。如果为 None，则预测所有通道。目标数据预计包含所有通道，在损失计算之前，我们会在预测和目标中显式过滤通道。 - head_aggregation (
字符串, 可选, 默认为"max_pool") — 用于分类或回归任务的聚合模式。允许的值为None、“use_last”、“max_pool”、“avg_pool”。
这是用于存储 PatchTSMixerModel 配置的配置类。它用于根据指定的参数实例化 PatchTSMixer 模型，定义模型架构。使用默认值实例化配置将产生与 PatchTSMixer ibm/patchtsmixer-etth1-pretrain 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import PatchTSMixerConfig, PatchTSMixerModel
>>> # Initializing a default PatchTSMixer configuration
>>> configuration = PatchTSMixerConfig()
>>> # Randomly initializing a model (with random weights) from the configuration
>>> model = PatchTSMixerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configPatchTSMixerModel
类 transformers.PatchTSMixerModel
< 源代码 >( config: PatchTSMixerConfig mask_input: bool = False )
参数
- config (PatchTSMixerConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
- mask_input (
布尔值, 可选, 默认为False) — 如果为 True，则启用掩码。否则为 False。
用于时间序列预测的 PatchTSMixer 模型。
此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、修剪注意力头等）。
此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解与一般用法和行为相关的所有事项。
前向传播
< 源代码 >( past_values: 张量 observed_mask: 可选 = None output_hidden_states: 可选 = False return_dict: 可选 = None ) → transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerModelOutput 或 元组(torch.FloatTensor)
参数
- past_values (
torch.FloatTensor形状为(批大小, 序列长度, 输入通道数)) — 时间序列的上下文值。对于预训练任务，这表示用于预测掩码部分的输入时间序列。对于预测任务，这表示历史/过去的时间序列值。类似地，对于分类或回归任务，它表示时间序列的相应上下文值。对于单变量时间序列，
输入通道数维度应为 1。对于多变量时间序列，它大于 1。 - output_hidden_states (
布尔值, 可选) — 是否返回所有层的隐藏状态。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - observed_mask (
torch.FloatTensor形状为(batch_size, sequence_length, num_input_channels), 可选) — 布尔掩码，指示哪些past_values被观测到，哪些缺失。掩码值选择在[0, 1]中：- 1 表示观测到的值，
- 0 表示缺失的值（即被零替换的 NaN）。
返回
transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerModelOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerModelOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (PatchTSMixerConfig) 和输入的不同元素。
- last_hidden_state (
torch.FloatTensor形状为(batch_size, num_channels, num_patches, d_model)) — 模型最后一层的输出处的隐藏状态。 - hidden_states (
tuple(torch.FloatTensor), 可选) — 模型在每一层输出处的隐藏状态。 - patch_input (
torch.FloatTensor形状为(batch_size, num_channels, num_patches, patch_length)) — 模型的补丁输入数据。 - mask: (
torch.FloatTensor形状为(batch_size, num_channels, num_patches),可选) — 布尔张量，指示掩码补丁中为 True，否则为 False。 - loc: (
torch.FloatTensor形状为(batch_size, 1, num_channels),可选) — 给出每个通道的上下文窗口的平均值。如果启用了 revin，则用于在模型外部进行 revin 反归一化。 - scale: (
torch.FloatTensor形状为(batch_size, 1, num_channels),可选) — 给出每个通道的上下文窗口的标准差。如果启用了 revin，则用于在模型外部进行 revin 反归一化。
PatchTSMixerModel 正向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但此后应调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则静默地忽略它们。
PatchTSMixerForPrediction
类 transformers.PatchTSMixerForPrediction
< 源代码 >( config: PatchTSMixerConfig )
用于预测应用的 PatchTSMixer。
前向传播
< 源代码 >( past_values: Tensor observed_mask: Optional = None future_values: Optional = None output_hidden_states: Optional = False return_loss: bool = True return_dict: Optional = None ) → transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPredictionOutput 或 tuple(torch.FloatTensor)
参数
- past_values (
torch.FloatTensor形状为(batch_size, seq_length, num_input_channels)) — 时间序列的上下文值。对于预训练任务，这表示用于预测掩码部分的输入时间序列。对于预测任务，这表示历史/过去的时间序列值。类似地，对于分类或回归任务，它表示时间序列的适当上下文值。对于单变量时间序列，
num_input_channels维度应为 1。对于多变量时间序列，它大于 1。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - observed_mask (
torch.FloatTensor形状为(batch_size, sequence_length, num_input_channels), 可选) — 布尔掩码，指示哪些past_values被观测到，哪些缺失。掩码值选择在[0, 1]中：- 1 表示观测到的值，
- 0 表示缺失的值（即被零替换的 NaN）。
- future_values (
torch.FloatTensor形状为(batch_size, target_len, num_input_channels)用于预测，—(batch_size, num_targets)用于回归，或(batch_size,)用于分类，可选)：时间序列的目标值，作为模型的标签。future_values是 Transformer 在训练期间需要学习输出的内容，给定past_values。请注意，预训练任务不需要此参数。对于预测任务，形状为
(batch_size, target_len, num_input_channels)。即使我们只想通过在prediction_channel_indices参数中设置索引来预测特定通道，也要传递包含所有通道的目标数据，因为预测和目标的通道过滤将在损失计算之前手动应用。 - return_loss (
bool, 可选) — 是否在forward调用中返回损失。
返回
transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPredictionOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPredictionOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置（PatchTSMixerConfig）和输入而变化的各种元素。
- prediction_outputs (
torch.FloatTensor形状为(batch_size, prediction_length, num_input_channels)) — 预测头产生的预测输出。 - last_hidden_state (
torch.FloatTensor形状为(batch_size, num_input_channels, num_patches, d_model)) — 传递到头部之前的骨干嵌入。 - hidden_states (
tuple(torch.FloatTensor), 可选) — 模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。 - loss (可选，当提供
y时返回，torch.FloatTensor形状为()) — 总损失。 - loc (
torch.FloatTensor, 可选，形状为(batch_size, 1, num_input_channels)) — 输入均值 - scale (
torch.FloatTensor, 可选，形状为(batch_size, 1, num_input_channels)) — 输入标准差
PatchTSMixerForPrediction 的 forward 方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但此后应调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则静默地忽略它们。
PatchTSMixerForTimeSeriesClassification
类 transformers.PatchTSMixerForTimeSeriesClassification
< 源代码 >( config: PatchTSMixerConfig )
用于分类应用的 PatchTSMixer。
前向传播
< 源代码 >( past_values: 张量 target_values: 张量 = None output_hidden_states: 可选 = False return_loss: bool = True return_dict: 可选 = None ) → transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForTimeSeriesClassificationOutput 或 tuple(torch.FloatTensor)
参数
- past_values (
torch.FloatTensor形状为(batch_size, seq_length, num_input_channels)) — 时间序列的上下文值。对于预训练任务，这表示用于预测掩蔽部分的输入时间序列。对于预测任务，这表示历史/过去的时间序列值。类似地，对于分类或回归任务，它表示时间序列的适当上下文值。对于单变量时间序列，
num_input_channels维度应为 1。对于多变量时间序列，它大于 1。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - target_values (对于预测任务，形状为
(batch_size, target_len, num_input_channels)— 对于回归任务，形状为(batch_size, num_targets)，或者对于分类任务，形状为(batch_size,)，可选)：时间序列的目标值，作为模型的标签。给定past_values，target_values是 Transformer 在训练期间需要学习输出的内容。请注意，预训练任务不需要此参数。对于预测任务，形状为
(batch_size, target_len, num_input_channels)。即使我们希望通过在prediction_channel_indices参数中设置索引来仅预测特定通道，也请传递包含所有通道的目标数据，因为在损失计算之前，将手动应用预测和目标的通道过滤。对于分类任务，其形状为
(batch_size,)。对于回归任务，其形状为
(batch_size, num_targets)。 - return_loss (
bool, 可选) — 是否在forward调用中返回损失。
返回
transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForTimeSeriesClassificationOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForTimeSeriesClassificationOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (PatchTSMixerConfig) 和输入的不同元素。
- prediction_outputs (
torch.FloatTensor形状为(batch_size, num_labels)) — 分类头的预测输出。 - last_hidden_state (
torch.FloatTensor形状为(batch_size, num_input_channels, num_patches, d_model)) — 传递到头部之前的骨干嵌入。 - hidden_states (
tuple(torch.FloatTensor), 可选) — 模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。 - loss (可选，当提供
y时返回，torch.FloatTensor形状为()) — 总损失。
The PatchTSMixerForTimeSeriesClassification 正向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但此后应调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则静默地忽略它们。
PatchTSMixerForPretraining
类 transformers.PatchTSMixerForPretraining
< 源代码 >( config: PatchTSMixerConfig )
用于掩码预训练的 PatchTSMixer。
前向传播
< 源代码 >( past_values: 张量 observed_mask: 可选 = None output_hidden_states: 可选 = False return_loss: bool = True return_dict: 可选 = None ) → transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPreTrainingOutput 或 tuple(torch.FloatTensor)
参数
- past_values (
torch.FloatTensor形状为(batch_size, seq_length, num_input_channels)) — 时间序列的上下文值。对于预训练任务，这表示用于预测掩蔽部分的输入时间序列。对于预测任务，这表示历史/过去的时间序列值。类似地，对于分类或回归任务，它表示时间序列的适当上下文值。对于单变量时间序列，
num_input_channels维度应为 1。对于多变量时间序列，它大于 1。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - observed_mask (
torch.FloatTensor形状为(batch_size, sequence_length, num_input_channels), 可选) — 布尔掩码，用于指示哪些past_values被观测到，哪些缺失。掩码值在[0, 1]中选择：- 1 表示观测到的值，
- 0 表示缺失的值（即被零替换的 NaN）。
- return_loss (
bool, 可选) — 是否在forward调用中返回损失。
返回
transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPreTrainingOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForPreTrainingOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (PatchTSMixerConfig) 和输入的各种元素。
- prediction_outputs (
torch.FloatTensor形状为(batch_size, num_input_channels, num_patches, patch_length)) — 预训练头部的预测输出。 - hidden_states (
tuple(torch.FloatTensor), 可选) — 模型在每一层输出处的隐藏状态。 - last_hidden_state (
torch.FloatTensor形状为(batch_size, num_input_channels, num_patches, d_model)) — 传递到头部之前的骨干嵌入。 - loss (可选，当提供
y时返回，torch.FloatTensor形状为()) — 总损失
PatchTSMixerForPretraining 的前向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但此后应调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则静默地忽略它们。
PatchTSMixerForRegression
类 transformers.PatchTSMixerForRegression
< 源代码 >( config: PatchTSMixerConfig )
用于回归应用的 PatchTSMixer。
前向传播
< 源代码 >( past_values: 张量 target_values: 张量 = None output_hidden_states: 可选 = False return_loss: bool = True return_dict: 可选 = None ) → transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForRegressionOutput 或 tuple(torch.FloatTensor)
参数
- past_values (
torch.FloatTensor形状为(batch_size, seq_length, num_input_channels)) — 时间序列的上下文值。对于预训练任务，这表示用于预测掩码部分的输入时间序列。对于预测任务，这表示历史/过去的时间序列值。类似地，对于分类或回归任务，它表示时间序列的相应上下文值。对于单变量时间序列，
num_input_channels维度应为 1。对于多变量时间序列，它大于 1。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - target_values (对于预测任务，形状为
(batch_size, target_len, num_input_channels)— 对于回归任务，形状为(batch_size, num_targets)，或者对于分类任务，形状为(batch_size,)，可选)：时间序列的目标值，作为模型的标签。给定past_values，target_values是 Transformer 在训练期间需要学习输出的内容。请注意，预训练任务不需要此参数。对于预测任务，形状为
(batch_size, target_len, num_input_channels)。即使我们想通过在prediction_channel_indices参数中设置索引来预测特定通道，也要传递包含所有通道的目标数据，因为在损失计算之前，将手动应用预测和目标的通道过滤。对于分类任务，其形状为
(batch_size,)。对于回归任务，其形状为
(batch_size, num_targets)。 - return_loss (
bool, 可选) — 是否在forward调用中返回损失。
返回
transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForRegressionOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.patchtsmixer.modeling_patchtsmixer.PatchTSMixerForRegressionOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (PatchTSMixerConfig) 和输入而变化的各种元素。
- regression_outputs (
torch.FloatTensor形状为(batch_size, num_targets)) — 回归头部的预测输出。 - last_hidden_state (
torch.FloatTensor形状为(batch_size, num_input_channels, num_patches, d_model)) — 传递到头部之前的骨干嵌入。 - hidden_states (
tuple(torch.FloatTensor), 可选) — 模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。 - loss (可选，当提供
y时返回，torch.FloatTensor形状为()) — 总损失。
PatchTSMixerForRegression 的前向方法覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但此后应调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则静默地忽略它们。