Diffusers 文档
Shap-E
并获取增强的文档体验
开始使用
Shap-E
Shap-E 是一个用于生成 3D 资产的条件模型，可用于视频游戏开发、室内设计和建筑。它在大型 3D 资产数据集上进行训练，并经过后期处理以渲染每个对象的更多视图并生成 16K 而不是 4K 点云。Shap-E 模型分两个步骤进行训练
- 编码器接受 3D 资产的点云和渲染视图，并输出表示该资产的隐式函数的参数
- 扩散模型在编码器生成的潜在空间上进行训练，以生成神经辐射场 (NeRF) 或纹理化的 3D 网格，从而更容易在下游应用程序中渲染和使用 3D 资产
本指南将向您展示如何使用 Shap-E 开始生成您自己的 3D 资产！
在开始之前，请确保您已安装以下库
# uncomment to install the necessary libraries in Colab
#!pip install -q diffusers transformers accelerate trimesh文本到 3D
要生成 3D 对象的 gif 动画，请将文本 prompt 传递给 ShapEPipeline。该 pipeline 生成一系列图像帧，这些图像帧用于创建 3D 对象。
import torch
from diffusers import ShapEPipeline
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
pipe = ShapEPipeline.from_pretrained("openai/shap-e", torch_dtype=torch.float16, variant="fp16")
pipe = pipe.to(device)
guidance_scale = 15.0
prompt = ["A firecracker", "A birthday cupcake"]
images = pipe(
prompt,
guidance_scale=guidance_scale,
num_inference_steps=64,
frame_size=256,
).images现在，使用 export_to_gif() 函数将图像帧列表转换为 3D 对象的 gif 动画。
from diffusers.utils import export_to_gif
export_to_gif(images[0], "firecracker_3d.gif")
export_to_gif(images[1], "cake_3d.gif")
图像到 3D
要从另一张图像生成 3D 对象，请使用 ShapEImg2ImgPipeline。您可以使用现有图像或生成全新的图像。让我们使用 Kandinsky 2.1 模型来生成新图像。
from diffusers import DiffusionPipeline
import torch
prior_pipeline = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-2-1-prior", torch_dtype=torch.float16, use_safetensors=True).to("cuda")
pipeline = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-2-1", torch_dtype=torch.float16, use_safetensors=True).to("cuda")
prompt = "A cheeseburger, white background"
image_embeds, negative_image_embeds = prior_pipeline(prompt, guidance_scale=1.0).to_tuple()
image = pipeline(
prompt,
image_embeds=image_embeds,
negative_image_embeds=negative_image_embeds,
).images[0]
image.save("burger.png")将芝士汉堡传递给 ShapEImg2ImgPipeline 以生成它的 3D 表示。
from PIL import Image
from diffusers import ShapEImg2ImgPipeline
from diffusers.utils import export_to_gif
pipe = ShapEImg2ImgPipeline.from_pretrained("openai/shap-e-img2img", torch_dtype=torch.float16, variant="fp16").to("cuda")
guidance_scale = 3.0
image = Image.open("burger.png").resize((256, 256))
images = pipe(
image,
guidance_scale=guidance_scale,
num_inference_steps=64,
frame_size=256,
).images
gif_path = export_to_gif(images[0], "burger_3d.gif")
生成网格
Shap-E 是一个灵活的模型，还可以生成纹理网格输出，以便为下游应用程序进行渲染。在本示例中，您将把输出转换为 glb 文件，因为 🤗 Datasets 库支持 glb 文件的网格可视化，该文件可以由 Dataset viewer 渲染。
您可以通过将 output_type 参数指定为 "mesh"，为 ShapEPipeline 和 ShapEImg2ImgPipeline 生成网格输出
import torch
from diffusers import ShapEPipeline
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
pipe = ShapEPipeline.from_pretrained("openai/shap-e", torch_dtype=torch.float16, variant="fp16")
pipe = pipe.to(device)
guidance_scale = 15.0
prompt = "A birthday cupcake"
images = pipe(prompt, guidance_scale=guidance_scale, num_inference_steps=64, frame_size=256, output_type="mesh").images使用 export_to_ply() 函数将网格输出保存为 ply 文件
您可以选择使用 export_to_obj() 函数将网格输出另存为 obj 文件。以多种格式保存网格输出的能力使其在下游使用中更加灵活！
from diffusers.utils import export_to_ply
ply_path = export_to_ply(images[0], "3d_cake.ply")
print(f"Saved to folder: {ply_path}")然后，您可以使用 trimesh 库将 ply 文件转换为 glb 文件
import trimesh
mesh = trimesh.load("3d_cake.ply")
mesh_export = mesh.export("3d_cake.glb", file_type="glb")默认情况下，网格输出从底部视点聚焦，但您可以通过应用旋转变换来更改默认视点
import trimesh
import numpy as np
mesh = trimesh.load("3d_cake.ply")
rot = trimesh.transformations.rotation_matrix(-np.pi / 2, [1, 0, 0])
mesh = mesh.apply_transform(rot)
mesh_export = mesh.export("3d_cake.glb", file_type="glb")将网格文件上传到您的数据集仓库，以使用 Dataset viewer 可视化它！
