3D 机器学习课程文档

非网格

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

非网格

虽然目前在实际应用中,几乎所有 3D 都表示为网格,但 3D 机器学习研究通常使用非网格表示,这些表示随后会转换为网格。

这些非网格表示可能包括:

  1. 三平面,例如在 InstantMesh 中。
  2. NeRFs,例如在 NeRFiller 中。
  3. Splats,例如在 LGM 中。

这些方法不断发展,甚至在你阅读本文时可能已经有所改变。

幸运的是,在大多数情况下,这可以被视为一个黑箱。你无需了解这些非网格表示的细节即可在你的工作中使用它们。

然而,有一种表示方式脱颖而出。

高斯溅射 (Gaussian Splatting)

非网格表示的一种特殊情况是溅射(splats),或者称为高斯溅射(Gaussian Splatting)

这是因为溅射可以实时渲染,这与其他非网格表示不同。它们还具有动画物理(混合)光照等功能。

这意味着从理论上讲,溅射可以取代实际应用中的网格。然而,整个实际 3D 生态系统是围绕网格构建的,因此溅射不太可能取代它们。它们更有可能在 3D 生态系统中与网格并存,尤其是在实时生成 3D 等预期应用中。

本课程内容

我们将同时介绍网格和高斯溅射。

虽然当前的最先进技术使用三平面,但由于它们不断发展,我们不会在本课程中深入探讨这些具体细节。

相反,我们将重点关注 3D 机器学习研究的构建块。然后,我们将深入探讨高斯溅射和网格,因为它们目前可以在实际应用中使用。

< > 在 GitHub 上更新