实践

本实践的目的是构建一个文本到散点的管道，以LGM（大型高斯模型）为例。

这包括生成式3D管道的两个部分

多视角扩散
机器学习友好的3D（高斯散点）

设置

打开上面链接的Colab笔记本。点击运行时 -> 更改运行时类型并选择GPU作为硬件加速器。

然后，首先安装必要的依赖项

!pip install -r https://huggingface.co/spaces/dylanebert/LGM-mini/raw/main/requirements.txt
!pip install https://huggingface.co/spaces/dylanebert/LGM-mini/resolve/main/wheel/diff_gaussian_rasterization-0.0.0-cp310-cp310-linux_x86_64.whl

和之前一样，如果笔记本要求您重新启动会话，请执行此操作，然后重新运行代码块。

加载模型

就像在多视角扩散笔记本中一样，加载预训练的多视角扩散模型

import torch
from diffusers import DiffusionPipeline

image_pipeline = DiffusionPipeline.from_pretrained(
    "dylanebert/multi-view-diffusion",
    custom_pipeline="dylanebert/multi-view-diffusion",
    torch_dtype=torch.float16,
    trust_remote_code=True,
).to("cuda")

这是因为多视角扩散是LGM管道的第一步。

然后，加载生成式高斯散点模型，这是LGM的主要贡献

splat_pipeline = DiffusionPipeline.from_pretrained(
    "dylanebert/LGM",
    custom_pipeline="dylanebert/LGM",
    torch_dtype=torch.float16,
    trust_remote_code=True,
).to("cuda")

加载图像

和之前一样，加载著名的猫雕像图像

import requests
from PIL import Image
from io import BytesIO

image_url = "https://huggingface.co/datasets/dylanebert/3d-arena/resolve/main/inputs/images/a_cat_statue.jpg"
response = requests.get(image_url)
image = Image.open(BytesIO(response.content))
image

运行管道

最后，将图像通过这两个管道。输出将是一个散点数据矩阵，可以使用splat_pipeline.save_ply()保存。

import numpy as np
from google.colab import files

input_image = np.array(image, dtype=np.float32) / 255.
multi_view_images = image_pipeline("", input_image, guidance_scale=5, num_inference_steps=30, elevation=0)

Multi-view Cats

splat = splat_pipeline(multi_view_images)

output_path = "/tmp/output.ply"
splat_pipeline.save_ply(splat, output_path)
files.download(output_path)

这包括files.download()，用于在 Colab 中运行笔记本时将文件下载到本地机器。如果您在本地运行笔记本，则可以删除此行。

恭喜！您已运行 LGM 管道。

Gradio 演示

现在，让我们创建一个 Gradio 演示，以易于使用的界面端到端运行模型

import gradio as gr

def run(image):
    input_image = image.astype("float32") / 255.0
    images = image_pipeline("", input_image, guidance_scale=5, num_inference_steps=30, elevation=0)
    splat = splat_pipeline(images)
    output_path = "/tmp/output.ply"
    splat_pipeline.save_ply(splat, output_path)
    return output_path

demo = gr.Interface(fn=run, inputs="image", outputs=gr.Model3D())
demo.launch()

这将创建一个 Gradio 演示，该演示以图像作为输入并输出 3D 散点。

< > 更新在 GitHub 上

3D机器学习课程

实践

设置

加载模型

加载图像

运行管道

Gradio 演示