3D 机器学习课程文档
网格生成
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
网格生成
新的解决方案已经出现,它们解决了行进立方体的局限性,允许将密集网格转换为低多边形网格。
在本课程早期,我们强调了可微性的重要性,以及网格渲染如何是不可微的,涉及离散决策,例如
- 这个像素在三角形内部吗?
虽然这仍然是事实,但新的研究通过将网格三角形视为离散符号,类似于语言模型中的词,引入了一种可微的网格生成方法。
MeshAnything
MeshAnything 是一个最近的研究项目,它使用 MeshGPT 中引入的技术将密集网格转换为低多边形网格。
MeshAnything 的主要组成部分是
- VQ-VAE 编码器:使用向量量化 (VQ) 变分自编码器 (VAE) 将密集 3D 数据编码为离散潜在表示。
- 自回归 Transformer 解码器:使用自回归 Transformer 解码器生成网格的三角形。
更多详情可在论文 MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers 中找到。
影响
MeshAnything 代表了 3D 网格生成领域的一大步,解决了阻碍实用生成式 3D 工具发展的一个主要瓶颈。
然而,目前的结果与传统的拓扑简化方法(如 Decimate)相比仍相形见绌,甚至更差,仍然需要大量的手动细化。
可微网格生成为上下文感知的拓扑简化打开了大门,即考虑形状和变形。虽然仍在进行中,但解决这个问题将带来高度实用的 3D 工具。
< > 在 GitHub 上更新