3D 机器学习课程文档

非网格

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

非网格

尽管如今几乎所有 3D 在实际应用中都以网格形式呈现,但 3D 机器学习研究通常使用非网格表示,这些表示随后会被转换为网格。

这些非网格表示可能包括

  1. 三平面,例如 InstantMesh 中的。
  2. NeRFs,例如 NeRFiller 中的
  3. Splats,例如 LGM 中的。

这些方法在不断发展,甚至可能在你阅读本文时已经发生了变化。

幸运的是,在大多数情况下,这可以被视为黑盒。你不需要理解这些非网格表示的细节就可以在你的工作中使用它们。

然而,有一种表示方式脱颖而出。

高斯泼溅

非网格表示的一个特例是 splats,或高斯泼溅

这是因为 splats 可以实时渲染,这与其他非网格表示不同。它们还具有动画、动画物理(混合)光照等功能。

这意味着理论上,splats 可以取代实际应用中的网格。然而,整个现实世界的 3D 生态系统都是围绕网格构建的,因此 splats 不太可能取代它们。它们更可能在 3D 生态系统中与网格并存,尤其是在实时生成式 3D 等预期应用中发挥作用。

在本课程中

我们将涵盖网格和高斯泼溅。

虽然当前最先进的技术使用三平面,但我们不会在本课程中深入探讨这些细节,因为它们在不断发展。

相反,我们将专注于 3D 机器学习研究的构建模块。然后,我们将更深入地研究高斯泼溅和网格,因为它们如今可以在实际应用中使用。

< > 更新 在 GitHub 上