ML for 3D 课程文档

网格生成

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

网格生成

已经出现新的解决方案来解决行进立方体的局限性,从而可以将密集网格转换为低多边形网格。

在本课程的早期,我们强调了可微性的重要性,以及网格渲染的不可微性,这涉及到诸如以下离散决策:

  • 这个像素在三角形内部吗?

虽然这仍然是事实,但新的研究引入了一种可微的网格生成方法,通过将网格三角形视为离散符号,类似于语言模型中的单词。

MeshAnything

MeshAnything 是最近的一个研究项目,它使用 MeshGPT 中介绍的技术将密集网格转换为低多边形网格。

MeshAnything 的主要组成部分是

  1. VQ-VAE 编码器: 使用向量量化 (VQ) 变分自编码器 (VAE) 将密集的 3D 数据编码为离散潜在表示。
  2. 自回归 Transformer 解码器: 使用自回归 Transformer 解码器生成网格的三角形。

更多细节可以在论文 MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers 中找到。

MeshAnything Demo

影响

MeshAnything 代表了 3D 网格生成领域的一个重大进步,解决了通往实用生成式 3D 工具的主要瓶颈。

然而,目前的结果与传统的拓扑简化方法(如 Decimate)相当或更差,仍然需要大量的手动细化。

可微网格生成为上下文感知的拓扑简化打开了大门,即考虑形状和变形。虽然这仍是一项进行中的工作,但解决这个问题将催生高度实用的 3D 工具。

< > 在 GitHub 上更新