ML for 3D 课程文档
网格生成
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
网格生成
已经出现新的解决方案来解决行进立方体的局限性,从而可以将密集网格转换为低多边形网格。
在本课程的早期,我们强调了可微性的重要性,以及网格渲染的不可微性,这涉及到诸如以下离散决策:
- 这个像素在三角形内部吗?
虽然这仍然是事实,但新的研究引入了一种可微的网格生成方法,通过将网格三角形视为离散符号,类似于语言模型中的单词。
MeshAnything
MeshAnything 是最近的一个研究项目,它使用 MeshGPT 中介绍的技术将密集网格转换为低多边形网格。
MeshAnything 的主要组成部分是
- VQ-VAE 编码器: 使用向量量化 (VQ) 变分自编码器 (VAE) 将密集的 3D 数据编码为离散潜在表示。
- 自回归 Transformer 解码器: 使用自回归 Transformer 解码器生成网格的三角形。
更多细节可以在论文 MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers 中找到。
影响
MeshAnything 代表了 3D 网格生成领域的一个重大进步,解决了通往实用生成式 3D 工具的主要瓶颈。
然而,目前的结果与传统的拓扑简化方法(如 Decimate)相当或更差,仍然需要大量的手动细化。
可微网格生成为上下文感知的拓扑简化打开了大门,即考虑形状和变形。虽然这仍是一项进行中的工作,但解决这个问题将催生高度实用的 3D 工具。
< > 在 GitHub 上更新