Diffusers

SD3Transformer2D

此类别仅在将权重加载到 SD3Transformer2DModel 时有用。如果需要将权重加载到文本编码器或文本编码器和 SD3Transformer2DModel 中，请改用 SD3LoraLoaderMixin 类别。

SD3Transformer2DLoadersMixin 类别目前仅加载 IP-Adapter 权重，但未来将用于保存权重和加载 LoRA。

要了解有关如何加载 LoRA 权重的更多信息，请参阅 LoRA 加载指南。

SD3Transformer2DLoadersMixin

( )

将 IP-Adapter 和 LoRA 层加载到 [SD3Transformer2DModel] 中。

( state_dict: typing.Dict low_cpu_mem_usage: bool = True )

参数

state_dict (Dict) — 状态字典，包含“ip_adapter”键（包含注意力处理器参数）和“image_proj”键（包含图像投影网络参数）。
low_cpu_mem_usage (bool, 可选, 如果 torch 版本 >= 1.9.0 则默认为 True，否则为 False) — 通过仅加载预训练权重而不初始化权重来加速模型加载。这还尝试在加载模型时，CPU 内存使用量（包括峰值内存）不超过模型大小的 1 倍。仅支持 PyTorch >= 1.9.0。如果您使用的是旧版本 PyTorch，将此参数设置为 True 将引发错误。

设置 IP-Adapter 注意力处理器、图像投影并加载状态字典。