Transformers

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None prompt_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None mask_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None initializer_range: float = 0.02 tie_word_embeddings: bool = True )

参数

vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], 可选) — 视觉主干网络的配置对象或字典。
prompt_encoder_config (Union[dict, SamPromptEncoderConfig], 可选) — 用于初始化 SamPromptEncoderConfig 的配置选项字典。
mask_decoder_config (Union[dict, SamMaskDecoderConfig], 可选) — 用于初始化 SamMaskDecoderConfig 的配置选项字典。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
tie_word_embeddings (bool, 可选, 默认为 True) — 是否根据模型的 tied_weights_keys 映射来绑定权重嵌入。

这是用于存储 SamModel 配置的配置类。它用于根据指定的参数实例化 Sam 模型，定义模型架构。使用默认值实例化配置将产生与 facebook/sam-vit-huge 相似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import (
...     SamVisionConfig,
...     SamPromptEncoderConfig,
...     SamMaskDecoderConfig,
...     SamModel,
... )

>>> # Initializing a SamConfig with `"facebook/sam-vit-huge"` style configuration
>>> configuration = SamConfig()

>>> # Initializing a SamModel (with random weights) from the `"facebook/sam-vit-huge"` style configuration
>>> model = SamModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

>>> # We can also initialize a SamConfig from a SamVisionConfig, SamPromptEncoderConfig, and SamMaskDecoderConfig

>>> # Initializing SAM vision, SAM Q-Former and language model configurations
>>> vision_config = SamVisionConfig()
>>> prompt_encoder_config = SamPromptEncoderConfig()
>>> mask_decoder_config = SamMaskDecoderConfig()

>>> config = SamConfig(vision_config, prompt_encoder_config, mask_decoder_config)

SamVisionConfig

class transformers.SamVisionConfig

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None hidden_size: int = 768 output_channels: int = 256 num_hidden_layers: int = 12 num_attention_heads: int = 12 num_channels: int = 3 image_size: int | list[int] | tuple[int, int] = 1024 patch_size: int | list[int] | tuple[int, int] = 16 hidden_act: str = 'gelu' layer_norm_eps: float = 1e-06 attention_dropout: float | int = 0.0 initializer_range: float = 1e-10 qkv_bias: bool = True mlp_ratio: float = 4.0 use_abs_pos: bool = True use_rel_pos: bool = True window_size: int = 14 global_attn_indexes: list[int] | tuple[int, ...] = (2, 5, 8, 11) num_pos_feats: int = 128 mlp_dim: int | None = None )

参数

hidden_size (int, 可选, 默认为 768) — 隐藏表示的维度。
output_channels (int, 可选, 默认为 256) — Patch Encoder 中输出通道的维度。
num_hidden_layers (int, 可选, 默认为 12) — Transformer 解码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 12) — Transformer 解码器中每个注意力层的注意力头数量。
num_channels (int, 可选, 默认为 3) — 输入通道的数量。
image_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 1024) — 每个图像的大小（分辨率）。
patch_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 16) — 每个补丁（patch）的大小（分辨率）。
hidden_act (str, 可选, 默认为 gelu) — 解码器中的非线性激活函数（函数或字符串）。例如，"gelu", "relu", "silu" 等。
layer_norm_eps (float, 可选, 默认为 1e-06) — 层归一化层所使用的 epsilon 值。
attention_dropout (Union[float, int], optional, defaults to 0.0) — 注意力概率的丢弃率（dropout ratio）。
initializer_range (float, optional, defaults to 1e-10) — 用于初始化所有权重矩阵的截断正态分布初始化器（truncated_normal_initializer）的标准差。
qkv_bias (bool, optional, defaults to True) — 是否为查询（queries）、键（keys）和值（values）添加偏置（bias）。
mlp_ratio (float, optional, defaults to 4.0) — MLP 隐藏维度与嵌入维度的比例。
use_abs_pos (bool, optional, defaults to True) — 是否使用绝对位置嵌入。
use_rel_pos (bool, optional, defaults to True) — 是否使用相对位置嵌入。
window_size (int, optional, defaults to 14) — 相对位置的窗口大小。
global_attn_indexes (list[int], optional, defaults to [2, 5, 8, 11]) — 全局注意力层的索引。
num_pos_feats (int, optional, defaults to 128) — 位置嵌入的维度。
mlp_dim (int, optional) — Transformer 编码器中 MLP 层的维度。如果为 None，则默认为 mlp_ratio * hidden_size。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import (
...     SamVisionConfig,
...     SamVisionModel,
... )

>>> # Initializing a SamVisionConfig with `"facebook/sam-vit-huge"` style configuration
>>> configuration = SamVisionConfig()

>>> # Initializing a SamVisionModel (with random weights) from the `"facebook/sam-vit-huge"` style configuration
>>> model = SamVisionModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SamMaskDecoderConfig

class transformers.SamMaskDecoderConfig

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None hidden_size: int = 256 hidden_act: str = 'relu' mlp_dim: int = 2048 num_hidden_layers: int = 2 num_attention_heads: int = 8 attention_downsample_rate: int = 2 num_multimask_outputs: int = 3 iou_head_depth: int = 3 iou_head_hidden_dim: int = 256 layer_norm_eps: float = 1e-06 )

参数

hidden_size (int, optional, defaults to 256) — 隐藏表示的维度。
hidden_act (str, optional, defaults to relu) — 解码器中的非线性激活函数（函数或字符串）。例如："gelu"、"relu"、"silu" 等。
mlp_dim (int, optional, defaults to 2048) — Transformer 编码器中“中间”（即前馈）层的维度。
num_hidden_layers (int, optional, defaults to 2) — Transformer 解码器中的隐藏层数量。
num_attention_heads (int, optional, defaults to 8) — Transformer 解码器中每个注意力层的注意力头数。
attention_downsample_rate (int, optional, defaults to 2) — 注意力层的下采样率。
num_multimask_outputs (int, optional, defaults to 3) — SamMaskDecoder 模块的输出数量。在 Segment Anything 论文中，此值设为 3。
iou_head_depth (int, optional, defaults to 3) — IoU 头模块中的层数。
iou_head_hidden_dim (int, optional, defaults to 256) — IoU 头模块中隐藏状态的维度。
layer_norm_eps (float, optional, defaults to 1e-06) — 层归一化层所使用的 epsilon 值。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

SamPromptEncoderConfig

class transformers.SamPromptEncoderConfig

参数

hidden_size (int, optional, 默认为 256) — 隐藏表示的维度。
image_size (Union[int, list[int], tuple[int, int]], optional, 默认为 1024) — 每个图像的尺寸（分辨率）。
patch_size (Union[int, list[int], tuple[int, int]], optional, 默认为 16) — 每个块（patch）的尺寸（分辨率）。
mask_input_channels (int, optional, 默认为 16) — 提供给 MaskDecoder 模块的通道数。
num_point_embeddings (int, optional, 默认为 4) — 要使用的点嵌入（point embeddings）数量。
hidden_act (str, optional, 默认为 gelu) — 解码器中的非线性激活函数（函数或字符串）。例如："gelu", "relu", "silu" 等。
layer_norm_eps (float, optional, 默认为 1e-06) — 层归一化层使用的 epsilon 值。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

SamProcessor

class transformers.SamProcessor

( image_processor )

参数

image_processor (SamImageProcessor) — 图像处理器是必需的输入。

构建一个将图像处理器包装成单个处理器的 SamProcessor。

SamProcessor 提供了 SamImageProcessor 的所有功能。有关更多信息，请参阅 ~SamImageProcessor。

call

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], optional) — 要预处理的图像。期望输入单个图像或一批像素值在 0 到 255 之间的图像。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
text (Union[str, list[str], list[list[str]]], optional) — 要编码的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果您传入预分词输入，请设置 is_split_into_words=True，以避免与批量输入混淆。
return_tensors (str 或 TensorType, optional) — 如果设置，将返回特定框架的张量。可接受的值为：
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 NumPy np.ndarray 对象。

~tokenization_utils_base.BatchEncoding

data (dict, optional) — 由 __call__/encode_plus/batch_encode_plus 方法返回的列表/数组/张量字典（‘input_ids’、‘attention_mask’ 等）。
encoding (tokenizers.Encoding or Sequence[tokenizers.Encoding], optional) — 如果分词器是一个快速分词器，它会输出额外的映射信息（例如从单词/字符空间到分词空间的映射），则 tokenizers.Encoding 实例或实例列表（用于批处理）将包含此信息。
tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。
prepend_batch_axis (bool, optional, defaults to False) — 转换成张量时是否添加批处理轴（参见上面的 tensor_type）。请注意，此参数仅在设置了参数 tensor_type 时才有效，否则无效。
n_sequences (int, 可选) — 你可以在此处提供一个 tensor_type，以便在初始化时将整数列表转换为 PyTorch/Numpy 张量。

SamImageProcessor

class transformers.SamImageProcessor

( **kwargs: typing_extensions.Unpack[transformers.models.sam.image_processing_sam.SamImageProcessorKwargs] )

参数

mask_size (dict[str, *kwargs*, int], optional) — 用于将分割图调整为的目标尺寸 {"longest_edge": int}。
mask_pad_size (dict[str, *kwargs*, int], optional) — 用于将分割图填充到的目标尺寸 {"height": int, "width": int}。必须大于为预处理提供的任何分割图尺寸。
**kwargs (ImagesKwargs, optional) — 其他图像预处理选项。模型特定的 kwargs 列在上面；请参阅 TypedDict 类以获取支持参数的完整列表。

构建一个 SamImageProcessor 图像处理器。

preprocess

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.sam.image_processing_sam.SamImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 要预处理的图像。期望输入单个图像或一批像素值在 0 到 255 之间的图像。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
segmentation_maps (ImageInput, optional) — 要预处理的分割图。
mask_size (dict[str, *kwargs*, int], 可选) — 用于将分割图调整大小的尺寸 {"longest_edge": int}。
mask_pad_size (dict[str, *kwargs*, int], 可选) — 用于填充分割图的尺寸 {"height": int, "width": int}。必须大于为预处理提供的任何分割图尺寸。
return_tensors (str 或 TensorType, 可选) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上方；请参阅 TypedDict 类以获取支持参数的完整列表。

~image_processing_base.BatchFeature

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

SamImageProcessorPil

class transformers.SamImageProcessorPil

( **kwargs: typing_extensions.Unpack[transformers.models.sam.image_processing_pil_sam.SamImageProcessorKwargs] )

参数

mask_size (dict[str, *kwargs*, int], 可选) — 用于将分割图调整大小的尺寸 {"longest_edge": int}。
mask_pad_size (dict[str, *kwargs*, int], 可选) — 用于填充分割图的尺寸 {"height": int, "width": int}。必须大于为预处理提供的任何分割图尺寸。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上方；请参阅 TypedDict 类以获取支持参数的完整列表。

构建一个 SamImageProcessor 图像处理器。

preprocess

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.sam.image_processing_pil_sam.SamImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 待预处理的图像。期望单个图像或一批图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
segmentation_maps (ImageInput, 可选) — 待预处理的分割图。
mask_size (dict[str, *kwargs*, int], 可选) — 用于将分割图调整大小的尺寸 {"longest_edge": int}。
mask_pad_size (dict[str, *kwargs*, int], 可选) — 用于填充分割图的尺寸 {"height": int, "width": int}。必须大于为预处理提供的任何分割图尺寸。
return_tensors (str 或 TensorType, 可选) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上方；请参阅 TypedDict 类以获取支持参数的完整列表。

~image_processing_base.BatchFeature

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

SamVisionModel

class transformers.SamVisionModel

( config: SamVisionConfig )

参数

config (SamVisionConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

Sam 的视觉模型，没有任何头部或顶部投影。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

( pixel_values: torch.FloatTensor | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → SamVisionEncoderOutput 或 tuple(torch.FloatTensor)

参数

pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可选) — 对应于输入图像的张量。可以使用 SamImageProcessor 获取像素值。有关详细信息，请参阅 SamImageProcessor.__call__()（SamProcessor 使用 SamImageProcessor 来处理图像）。

SamVisionEncoderOutput 或 tuple(torch.FloatTensor)

SamVisionEncoderOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（SamConfig）和输入，包含各种元素。

SamVisionModel 前向传递方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

image_embeds (torch.FloatTensor, shape (batch_size, output_dim), 当模型初始化时 with_projection=True 返回可选) — 通过将投影层应用于 pooler_output 得到的图像嵌入。
last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。
hidden_states (tuple[torch.FloatTensor, ...]，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则第一个为嵌入输出，其余为每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple[torch.FloatTensor, ...]，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

SamModel

class transformers.SamModel

( config: SamConfig )

参数

config (SamConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

Segment Anything Model (SAM)，用于在给定输入图像、输入点、标签、框或掩码的情况下生成分割掩码。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward