文本到（RGB，深度）
LDM3D 在 LDM3D：用于 3D 的潜在扩散模型 中提出，作者为 Gabriela Ben Melech Stan、Diana Wofk、Scottie Fox、Alex Redden、Will Saxton、Jean Yu、Estelle Aflalo、Shao-Yen Tseng、Fabio Nonato、Matthias Muller 和 Vasudev Lal。与仅生成图像的现有文本到图像扩散模型（如 稳定扩散）不同，LDM3D 从给定的文本提示生成图像和深度图。在几乎相同数量的参数下，LDM3D 实现了创建可以压缩 RGB 图像和深度图的潜在空间。
有两个检查点可供使用
- ldm3d-original。在 论文 中使用的原始检查点
- ldm3d-4c。LDM3D 的新版本，使用 4 通道输入代替 6 通道输入，并在更高分辨率的图像上进行了微调。
论文摘要如下：
本研究论文提出了一种用于 3D 的潜在扩散模型 (LDM3D)，该模型从给定的文本提示生成图像和深度图数据，允许用户从文本提示生成 RGBD 图像。LDM3D 模型在包含 RGB 图像、深度图和标题的元组数据集上进行微调，并通过大量实验进行验证。我们还开发了一个名为 DepthFusion 的应用程序，该应用程序使用生成的 RGB 图像和深度图，利用 TouchDesigner 创建身临其境且交互式的 360 度视角体验。这项技术有可能改变从娱乐和游戏到建筑和设计的广泛行业。总的来说，本文对生成式 AI 和计算机视觉领域做出了重大贡献，并展示了 LDM3D 和 DepthFusion 彻底改变内容创建和数字体验的潜力。可在 此网址 找到总结该方法的简短视频。
请务必查看稳定扩散的 提示 部分，了解如何探索调度器速度和质量之间的权衡，以及如何有效地重复使用管道组件！
StableDiffusionLDM3DPipeline
类 diffusers.StableDiffusionLDM3DPipeline
< 源代码 >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor image_encoder: 可选 requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码到潜在表示中，以及从潜在表示中解码图像。
- text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
- tokenizer (CLIPTokenizer) — 用于分词文本的
CLIPTokenizer。 - unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行去噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 与
unet结合使用以对编码图像潜在表示进行去噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - safety_checker (
StableDiffusionSafetyChecker) — 用于评估生成图像是否可能被视为冒犯性或有害的分类模块。有关模型潜在危害的更多详细信息，请参阅 模型卡片。 - feature_extractor (CLIPImageProcessor) — 用于从生成图像中提取特征的
CLIPImageProcessor；用作safety_checker的输入。
使用 LDM3D 进行文本到图像和 3D 生成的管道。
此模型继承自 DiffusionPipeline。请查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
该管道还继承以下加载方法
- load_textual_inversion() 用于加载文本反转嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- from_single_file() 用于加载
.ckpt文件 - load_ip_adapter() 用于加载 IP 适配器
__call__
< 源代码 >( prompt: Union = None height: Optional = None width: Optional = None num_inference_steps: int = 49 timesteps: List = None sigmas: List = None guidance_scale: float = 5.0 negative_prompt: Union = None num_images_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None guidance_rescale: float = 0.0 clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] **kwargs ) → StableDiffusionPipelineOutput 或 tuple
参数
- prompt (
str或List[str], 可选) — 指导图像生成的提示或提示列表。如果未定义，则需要传递prompt_embeds。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。 - num_inference_steps (
int, 可选, 默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但会以推理速度变慢为代价。 - timesteps (
List[int], 可选) — 用于降噪过程的自定义时间步长，适用于在其set_timesteps方法中支持timesteps参数的调度程序。如果未定义，则将使用传递num_inference_steps时的默认行为。必须按降序排列。 - sigmas (
List[float], 可选) — 用于降噪过程的自定义 sigma，适用于在其set_timesteps方法中支持sigmas参数的调度程序。如果未定义，则将使用传递num_inference_steps时的默认行为。 - guidance_scale (
float, 可选, 默认为 5.0) — 更高的引导比例值鼓励模型生成与文本prompt密切相关的图像，但会以降低图像质量为代价。当guidance_scale > 1时启用引导比例。 - negative_prompt (
str或List[str], 可选) — 指导图像生成中不包含什么的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。 - num_images_per_prompt (
int，可选，默认为 1) — 每个提示生成图像的数量。 - eta (
float，可选，默认为 0.0) — 对应于来自DDIM论文的参数 eta (η)。仅适用于DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator]，可选) — 用于使生成确定性的torch.Generator。 - latents (
torch.Tensor，可选) — 从高斯分布采样的预先生成的噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机generator进行采样来生成潜在变量张量。 - prompt_embeds (
torch.Tensor，可选) — 预先生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor，可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。ip_adapter_image — (PipelineImageInput，可选)：可选的图像输入，用于与 IP 适配器一起使用。 - ip_adapter_image_embeds (
List[torch.Tensor]，可选) — IP 适配器的预先生成的图像嵌入。它应该是一个与 IP 适配器数量相同的长度列表。每个元素都应该是一个形状为(batch_size, num_images, emb_dim)的张量。如果do_classifier_free_guidance设置为True，则它应该包含负图像嵌入。如果未提供，则从ip_adapter_image输入参数计算嵌入。 - output_type (
str，可选，默认为"pil") — 生成的图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool，可选，默认为True) — 是否返回StableDiffusionPipelineOutput而不是普通元组。 - cross_attention_kwargs (
dict，可选) — 如果指定，则传递给在self.processor中定义的AttentionProcessor的关键字参数字典。 - callback_on_step_end_tensor_inputs (
List, 可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。您只能包含管道类._callback_tensor_inputs属性中列出的变量。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是生成的图像列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作”（nsfw）内容。
管道生成时的调用函数。
示例
>>> from diffusers import StableDiffusionLDM3DPipeline
>>> pipe = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d-4c")
>>> pipe = pipe.to("cuda")
>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> output = pipe(prompt)
>>> rgb_image, depth_image = output.rgb, output.depth
>>> rgb_image[0].save("astronaut_ldm3d_rgb.jpg")
>>> depth_image[0].save("astronaut_ldm3d_depth.png")encode_prompt
< 源代码 >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用分类器自由引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递negative_prompt_embeds。在不使用引导时被忽略（即，如果guidance_scale小于1则被忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将根据prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将根据negative_prompt输入参数生成negative_prompt_embeds。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。 - clip_skip (
int, 可选) — 计算提示嵌入时要从 CLIP 跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
将提示编码为文本编码器隐藏状态。
get_guidance_scale_embedding
< 源代码 >( w: 张量 embedding_dim: int = 512 dtype: 数据类型 = torch.float32 ) → torch.Tensor
LDM3DPipelineOutput
类 diffusers.pipelines.stable_diffusion_ldm3d.pipeline_stable_diffusion_ldm3d.LDM3DPipelineOutput
< 源代码 >( rgb: 联合体 depth: 联合体 nsfw_content_detected: 可选 )
Stable Diffusion 管道的输出类。
上采样器
LDM3D-VR 是 LDM3D 的扩展版本。
论文摘要如下：潜在扩散模型已被证明是创建和操作视觉输出的最新技术。然而，据我们所知，联合生成深度图和 RGB 仍然受到限制。我们引入了 LDM3D-VR，这是一套针对虚拟现实开发的扩散模型，包括 LDM3D-pano 和 LDM3D-SR。这些模型分别能够基于文本提示生成全景 RGBD，以及将低分辨率输入上采样到高分辨率 RGBD。我们的模型是在包含全景/高分辨率 RGB 图像、深度图和标题的数据集上，对现有预训练模型进行微调得到的。两种模型都与现有的相关方法进行了比较评估。
有两个检查点可供使用
- ldm3d-pano。此检查点能够生成全景图像，需要使用 StableDiffusionLDM3DPipeline 管道。
- ldm3d-sr。此检查点能够对 RGB 和深度图像进行上采样。可以使用社区管道中的 StableDiffusionUpscaleLDM3DPipeline，在原始 LDM3D 管道之后级联使用。