3D 机器学习课程文档

网格生成

Hugging Face's logo
加入 Hugging Face 社区

并获取增强文档体验

开始使用

网格生成

出现了新的解决方案,可以解决 Marching Cubes 的局限性,允许将密集网格转换为低多边形网格。

在课程的前面,我们强调了**可微分性**的重要性,以及网格渲染是如何不可微分的,它涉及离散决策,例如

  • 这个像素是否在三角形内?

虽然这仍然是事实,但新的研究引入了对网格生成的可微分方法,通过将网格三角形视为离散符号,类似于语言模型中的单词。

MeshAnything

MeshAnything 是一个最近的研究项目,使用MeshGPT 中介绍的技术将密集网格转换为低多边形网格。

MeshAnything 的主要组成部分是

  1. VQ-VAE 编码器:使用矢量量化 (VQ) 变分自动编码器 (VAE) 将密集的 3D 数据编码为离散的潜在表示。
  2. 自回归 Transformer 解码器:使用自回归 Transformer 解码器生成网格的三角形。

更多详细信息可以在论文MeshAnything: 使用自回归 Transformer 进行艺术家创作的网格生成 中找到。

MeshAnything Demo

意义

MeshAnything 代表了 3D 网格生成的一个重大进步,解决了实际生成式 3D 工具的主要瓶颈。

然而,目前的结果与传统拓扑简化方法(如Decimate)相当或更差,仍然需要大量的手动调整。

可微分网格生成为上下文感知拓扑简化打开了大门,即考虑形状和变形。虽然这项工作仍在进行中,但解决这个问题将带来高度实用的 3D 工具。

< > 更新 在 GitHub 上