3D 机器学习课程文档
非网格
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
非网格
尽管如今几乎所有 3D 在实际应用中都以网格形式呈现,但 3D 机器学习研究通常使用非网格表示,这些表示随后会被转换为网格。
这些非网格表示可能包括
- 三平面,例如 InstantMesh 中的。
- NeRFs,例如 NeRFiller 中的
- Splats,例如 LGM 中的。
这些方法在不断发展,甚至可能在你阅读本文时已经发生了变化。
幸运的是,在大多数情况下,这可以被视为黑盒。你不需要理解这些非网格表示的细节就可以在你的工作中使用它们。
然而,有一种表示方式脱颖而出。
高斯泼溅
非网格表示的一个特例是 splats,或高斯泼溅。
这是因为 splats 可以实时渲染,这与其他非网格表示不同。它们还具有动画、动画、物理(混合)和光照等功能。
这意味着理论上,splats 可以取代实际应用中的网格。然而,整个现实世界的 3D 生态系统都是围绕网格构建的,因此 splats 不太可能取代它们。它们更可能在 3D 生态系统中与网格并存,尤其是在实时生成式 3D 等预期应用中发挥作用。
在本课程中
我们将涵盖网格和高斯泼溅。
虽然当前最先进的技术使用三平面,但我们不会在本课程中深入探讨这些细节,因为它们在不断发展。
相反,我们将专注于 3D 机器学习研究的构建模块。然后,我们将更深入地研究高斯泼溅和网格,因为它们如今可以在实际应用中使用。
< > 更新 在 GitHub 上