网格生成
出现了新的解决方案,可以解决 Marching Cubes 的局限性,允许将密集网格转换为低多边形网格。
在课程的前面,我们强调了**可微分性**的重要性,以及网格渲染是如何不可微分的,它涉及离散决策,例如
- 这个像素是否在三角形内?
虽然这仍然是事实,但新的研究引入了对网格生成的可微分方法,通过将网格三角形视为离散符号,类似于语言模型中的单词。
MeshAnything
MeshAnything 是一个最近的研究项目,使用MeshGPT 中介绍的技术将密集网格转换为低多边形网格。
MeshAnything 的主要组成部分是
- VQ-VAE 编码器:使用矢量量化 (VQ) 变分自动编码器 (VAE) 将密集的 3D 数据编码为离散的潜在表示。
- 自回归 Transformer 解码器:使用自回归 Transformer 解码器生成网格的三角形。
更多详细信息可以在论文MeshAnything: 使用自回归 Transformer 进行艺术家创作的网格生成 中找到。
意义
MeshAnything 代表了 3D 网格生成的一个重大进步,解决了实际生成式 3D 工具的主要瓶颈。
然而,目前的结果与传统拓扑简化方法(如Decimate)相当或更差,仍然需要大量的手动调整。
可微分网格生成为上下文感知拓扑简化打开了大门,即考虑形状和变形。虽然这项工作仍在进行中,但解决这个问题将带来高度实用的 3D 工具。
< > 更新 在 GitHub 上