3D 机器学习课程文档
非网格
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
非网格
虽然目前在实际应用中,几乎所有 3D 都表示为网格,但 3D 机器学习研究通常使用非网格表示,这些表示随后会转换为网格。
这些非网格表示可能包括:
- 三平面,例如在 InstantMesh 中。
- NeRFs,例如在 NeRFiller 中。
- Splats,例如在 LGM 中。
这些方法不断发展,甚至在你阅读本文时可能已经有所改变。
幸运的是,在大多数情况下,这可以被视为一个黑箱。你无需了解这些非网格表示的细节即可在你的工作中使用它们。
然而,有一种表示方式脱颖而出。
高斯溅射 (Gaussian Splatting)
非网格表示的一种特殊情况是溅射(splats),或者称为高斯溅射(Gaussian Splatting)。
这是因为溅射可以实时渲染,这与其他非网格表示不同。它们还具有动画、物理(混合)和光照等功能。
这意味着从理论上讲,溅射可以取代实际应用中的网格。然而,整个实际 3D 生态系统是围绕网格构建的,因此溅射不太可能取代它们。它们更有可能在 3D 生态系统中与网格并存,尤其是在实时生成 3D 等预期应用中。
本课程内容
我们将同时介绍网格和高斯溅射。
虽然当前的最先进技术使用三平面,但由于它们不断发展,我们不会在本课程中深入探讨这些具体细节。
相反,我们将重点关注 3D 机器学习研究的构建块。然后,我们将深入探讨高斯溅射和网格,因为它们目前可以在实际应用中使用。
< > 在 GitHub 上更新