TRELLIS 仍然是领先的开源人工智能模型,可从静态图像生成高质量的 3D 资产 — 惊人的示例 — 还支持多角度改进的图像到 3D 转换 — 最低支持 6 GB GPU

社区文章 发布于 2025 年 5 月 9 日

Furkan Gözükara - 计算机工程博士,SE课程 Furkan Gözükara - 计算机工程博士,SE课程
4 分钟阅读 · 刚刚发布


TRELLIS 逐步教程:如何从本地静态图像生成惊人的高质量 3D 资产 (视频:TRELLIS 逐步教程:如何从本地静态图像生成惊人的高质量 3D 资产

Image showing Trellis app interface

GIF animation of a 3D model generated by Trellis

GIF animation of another 3D model generated by Trellis

GIF animation of a 3D model of a character generated by Trellis

GIF animation of a 3D model of an object generated by Trellis

教程信息

TRELLIS 是目前最先进的本地运行开源图像到 3D 高质量资产生成器。我为这个模型开发了一键安装程序和功能极其先进的 Gradio 应用程序,具有许多惊人的功能。在本教程视频中,我将逐步向您展示如何使用这个惊人的人工智能工具,并在本地生成最优质的 3D 资产。此外,如果您缺少 GPU,您也可以在 RunPod 和 Massed Compute 上使用此工具。

TRELLIS 是一个大型 3D 资产生成模型。它接受文本或图像提示,并生成各种格式(如辐射场、3D 高斯和网格)的高质量 3D 资产。TRELLIS 的基石是一个统一的结构化潜在(SLAT)表示,它允许解码为不同的输出格式,以及为 SLAT 量身定制的整流流变压器作为强大的骨干。我们提供了在大规模 3D 资产数据集(50 万个不同对象)上预训练的,参数高达 20 亿的模型。TRELLIS 显著超越了现有方法,包括最近的同等规模模型,并展示了以前模型不具备的灵活输出格式选择和本地 3D 编辑功能。

论文:https://arxiv.org/abs/2412.01506

功能

  • 高质量:它能生成具有复杂形状和纹理细节的多样化高质量 3D 资产。
  • 多功能性:它接受文本或图像提示,可以生成各种最终 3D 表示,包括但不限于辐射场、3D 高斯和网格,以适应多样化的下游需求。
  • 灵活编辑:它允许轻松编辑生成的 3D 资产,例如生成同一对象的变体或对 3D 资产进行局部编辑。
  • TRELLIS-image-large 大型图像到 3D 模型 1.2B — 我们正在使用这个模型

视频章节

  • 0:00 展示:使用 Trellis 从单张图像生成惊艳的 3D 模型
  • 0:26 Trellis 介绍:微软终极图像转 3D 生成器
  • 0:59 Trellis 高级功能:多角度输入和自定义 Gradio 应用程序
  • 1:37 GPU 兼容性及增强的 Gradio 应用程序功能
  • 2:00 Gradio 应用程序深入解析:生成、预设、视频和网格控制
  • 2:48 批处理、元数据和一键安装器(带 Flash Attention)
  • 3:17 显存模式(高/低)和项目鸣谢
  • 3:42 一键安装器:开发工作和库编译
  • 4:20 如何获取 Trellis:下载和预安装步骤
  • 4:45 安装指南:文件夹设置和运行 .bat 文件
  • 5:23 自动化安装过程:库、应用程序和模型下载
  • 5:54 安装完成:模型下载和文件夹大小(13.5GB)
  • 6:56 运行 Trellis:不同 GPU 和显存的启动选项
  • 7:22 首次启动:应用程序初始化和 GPU 监控 (nvitop)
  • 8:08 使用 Trellis:上传图像和自动背景移除
  • 8:34 核心生成设置:种子、步数、引导、网格细节
  • 9:17 示例 1(汽车图像):生成和输出分析
  • 9:42 优化输出:更好的图像和更高的纹理分辨率
  • 10:02 幕后:生成阶段和输出文件管理
  • 10:34 展示:优化设置下的高细节模型(狮子)
  • 11:35 通过多角度图像输入提升质量
  • 11:53 本地性能检查和云部署(RunPod, MassedCompute)
  • 12:46 结果:多角度输入生成和总结
  • 13:07 如何获取 Trellis 及支持信息

社区

注册登录 以发表评论