HieraModel 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列第一个 token（分类 token）在进一步通过用于辅助预训练任务的层后的最后一个隐藏状态。例如，对于 BERT 系列模型，这会返回经过线性层和 tanh 激活函数处理后的分类 token。线性层的权重是通过预训练期间的下一句预测（分类）目标来训练的。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

HieraForPreTraining 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• loss (torch.FloatTensor，形状为 (1,)) — 像素重建损失。

• logits (形状为 (batch_size, sequence_length, patch_size ** 2 * num_channels) 的 torch.FloatTensor) — 像素重建 logits。

• bool_masked_pos (形状为 (batch_size, sequence_length) 的 torch.BoolTensor) — 指示哪些补丁被遮蔽（0）以及哪些未被遮蔽（1）的张量。

• ids_restore (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 包含（混洗后的）遮蔽补丁原始索引的张量。

• hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层的输出（如果模型有嵌入层的话） + 一个用于每层输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor]，可选，在传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• reshaped_hidden_states (tuple(torch.FloatTensor), 可选，当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入输出 + 每个层的输出一个），形状为 (batch_size, height, width, hidden_size)。模型在每一层输出时的隐藏状态，加上重塑以包含空间维度的初始嵌入输出。

>>> from transformers import AutoImageProcessor, HieraForPreTraining
>>> import torch
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-tiny-224-mae-hf")
>>> model = HieraForPreTraining.from_pretrained("facebook/hiera-tiny-224-mae-hf")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> loss = outputs.loss
>>> print(list(logits.shape))
[1, 196, 768]

HieraForImageClassification 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• loss (torch.FloatTensor，形状为 (1,)，可选) — 训练任务的损失值。

• logits (torch.FloatTensor，形状为 (batch_size, num_labels)) — 分类头的预测分数（输出层的逻辑值）。

• hidden_states (tuple(torch.FloatTensor)，可选) — torch.FloatTensor 元组（一个用于嵌入输出，其余每个阶段各一个），形状为 (batch_size, sequence_length, hidden_size)。这是模型未展开的隐藏状态。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选) — torch.FloatTensor 元组（每个阶段一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• reshaped_hidden_states (tuple(torch.FloatTensor)，可选) — torch.FloatTensor 元组（一个用于嵌入输出，其余每个阶段各一个），形状为 (batch_size, height, width, hidden_size)。这是模型重塑和重新展开后的隐藏状态。

  模型在每层输出处的隐藏状态，以及重新调整以包含空间维度的初始嵌入输出。

>>> from transformers import AutoImageProcessor, HieraForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-base-224")
>>> model = HieraForImageClassification.from_pretrained("facebook/hiera-base-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...