非网格
虽然在当今的实际应用中,几乎所有 3D 都以 网格 的形式表示,但 3D 机器学习研究通常使用非网格表示,这些表示随后被转换为网格。
这些非网格表示可能是以下内容
- 例如,在 InstantMesh 中使用三平面。
- NeRF,例如在 NeRFiller 中。
- Splat,例如在 LGM 中。
这些方法不断发展,甚至在你阅读本文时可能已经发生了变化。
幸运的是,在大多数情况下,这可以被视为一个黑盒子。你无需了解这些非网格表示的细节,就可以在工作中使用它们。
然而,有一种表示方式很突出。
高斯 Splatting
非网格表示的一种特殊情况是 splat,或者 高斯 Splatting。
这是因为 splat 可以实时渲染,而其他非网格表示则不行。它们还支持诸如 动画、物理 (混合) 和 照明 等功能。
这意味着理论上,splat 可以取代实际应用中的网格。但是,整个实际 3D 生态系统都是围绕网格构建的,因此 splat 不太可能取代网格。它们更有可能在 3D 生态系统中与网格一起发挥作用,尤其是在实时生成式 3D 等预期应用中。
在本课程中
我们将涵盖网格和高斯 splatting。
虽然当前的 最先进技术 使用三平面,但本课程不会深入研究这些细节,因为它们不断发展。
相反,我们将重点关注 3D 机器学习研究的基础。然后,我们将深入研究高斯 Splatting 和网格,因为它们可以应用于当今的实际应用。
< > 在 GitHub 上更新