Diffusers

加入 Hugging Face 社区

并获得增强的文档体验

协作开发模型、数据集和 Spaces

通过加速推理获得更快的示例

切换文档主题

开始使用

SD3Transformer2D

当仅将权重加载到 SD3Transformer2DModel 时，此类非常有用。如果您需要将权重加载到文本编码器或文本编码器和 SD3Transformer2DModel 中，请查看 SD3LoraLoaderMixin 类。

SD3Transformer2DLoadersMixin 类目前仅加载 IP-Adapter 权重，但未来将用于保存权重和加载 LoRA。

要了解有关如何加载 LoRA 权重的更多信息，请参阅 LoRA 加载指南。

( )

将 IP-Adapters 和 LoRA 层加载到 [SD3Transformer2DModel] 中。

( state_dict: typing.Dict low_cpu_mem_usage: bool = True )

参数

state_dict (Dict) — 包含键 “ip_adapter” 的 State dict，其中包含 attention processors 的参数，以及 “image_proj”，其中包含 image projection net 的参数。
low_cpu_mem_usage (bool, 可选, 如果 torch 版本 >= 1.9.0 则默认为 True，否则为 False) — 加速模型加载，仅加载预训练权重，而不初始化权重。这还尝试在加载模型时，CPU 内存使用量（包括峰值内存）不超过模型大小的 1 倍。仅支持 PyTorch >= 1.9.0。如果您使用的是旧版本的 PyTorch，则将此参数设置为 True 将引发错误。

设置 IP-Adapter attention processors、图像投影，并加载 state_dict。