3D 机器学习课程文档

非网格

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始

非网格

虽然在当今的实际应用中,几乎所有 3D 都以 网格 的形式表示,但 3D 机器学习研究通常使用非网格表示,这些表示随后被转换为网格。

这些非网格表示可能是以下内容

  1. 例如,在 InstantMesh 中使用三平面。
  2. NeRF,例如在 NeRFiller 中。
  3. Splat,例如在 LGM 中。

这些方法不断发展,甚至在你阅读本文时可能已经发生了变化。

幸运的是,在大多数情况下,这可以被视为一个黑盒子。你无需了解这些非网格表示的细节,就可以在工作中使用它们。

然而,有一种表示方式很突出。

高斯 Splatting

非网格表示的一种特殊情况是 splat,或者 高斯 Splatting

这是因为 splat 可以实时渲染,而其他非网格表示则不行。它们还支持诸如 动画物理 (混合)照明 等功能。

这意味着理论上,splat 可以取代实际应用中的网格。但是,整个实际 3D 生态系统都是围绕网格构建的,因此 splat 不太可能取代网格。它们更有可能在 3D 生态系统中与网格一起发挥作用,尤其是在实时生成式 3D 等预期应用中。

在本课程中

我们将涵盖网格和高斯 splatting。

虽然当前的 最先进技术 使用三平面,但本课程不会深入研究这些细节,因为它们不断发展。

相反,我们将重点关注 3D 机器学习研究的基础。然后,我们将深入研究高斯 Splatting 和网格,因为它们可以应用于当今的实际应用。

< > 在 GitHub 上更新