3D 资产生成：面向游戏开发的 AI #3
欢迎来到“面向游戏开发的 AI”系列！ 在本系列中，我们将使用 AI 工具在短短 5 天内创建一个功能齐全的农场游戏。在本系列结束时，您将学会如何将各种 AI 工具融入到您的游戏开发工作流程中。我将向您展示如何使用 AI 工具来完成：
- 美术风格
- 游戏设计
- 3D 资源
- 2D 资源
- 故事情节
想看快速视频版？你可以在这里观看。如果想了解技术细节，请继续阅读！
注意：本教程适用于熟悉 Unity 开发和 C# 的读者。如果您是这些技术的新手，请在继续之前查看 Unity 初学者系列。
第 3 天：3D 资产
在本教程系列的第 2 部分中，我们使用了AI 进行游戏设计。更具体地说，我们使用 ChatGPT 为我们的游戏进行头脑风暴设计。
在这一部分，我们将讨论如何使用 AI 生成 3D 资产。简短的回答是：你还不能。这是因为文本到 3D 技术还没有达到可以实际应用于游戏开发的程度，目前还没有。然而，这种情况正在迅速改变。继续阅读以了解文本到 3D 技术的现状、为什么它（目前）还不太实用，以及文本到 3D 技术的未来。
文本到 3D 技术的现状
如第 1 部分所述，像 Stable Diffusion 这样的文本到图像工具在游戏开发工作流程中非常有用。但是，文本到 3D 技术，即从文本描述生成 3D 模型，又如何呢？这一领域最近有许多新发展：
- DreamFusion 使用 2D 扩散来生成 3D 资产。
- CLIPMatrix 和 CLIP-Mesh-SMPLX 直接生成带纹理的网格。
- CLIP-Forge 使用语言来生成基于体素的模型。
- CLIP-NeRF 用文本和图像驱动 NeRF。
- Point-E 和 Pulsar+CLIP 使用语言生成 3D 点云。
- Dream Textures 使用文本到图像技术在 Blender 中自动为场景添加纹理。
除了 CLIPMatrix 和 CLIP-Mesh-SMPLX，这些方法中的许多都基于视图合成，即生成对象的新视图，而不是传统的 3D 渲染。这就是NeRFs（神经辐射场）背后的思想，它使用神经网络进行视图合成。
对于游戏开发者来说，这一切意味着什么？目前来说，什么也不是。这项技术还没有达到在游戏开发中有用的程度，目前还没有。让我们来谈谈原因。
为什么它（目前）还不太实用
注意： 本节适用于熟悉传统 3D 渲染技术的读者，例如网格、UV 贴图和摄影测量。
虽然视图合成令人印象深刻，但 3D 世界是基于网格运行的，这与 NeRFs 不同。然而，目前有将 NeRFs 转换为网格的研究正在进行中。在实践中，这让人联想到摄影测量，即通过组合真实世界物体的多张照片来创作 3D 资产。
使用文本到 NeRF 再到网格的流程生成的资产，其实际用途受到的限制与使用摄影测量制作的资产类似。也就是说，生成的网格并不能立即用于游戏，需要大量的专业工作才能成为游戏就绪的资产。从这个意义上说，NeRF 到网格本身可能是一个有用的工具，但尚未达到文本到 3D 技术的变革潜力。
由于 NeRF 到网格，就像摄影测量一样，目前最适合用于创建需要大量手动后处理的超高保真资产，因此对于在 5 天内创建一个农场游戏来说并不太适用。在这种情况下，我决定只使用不同颜色的立方体来代表游戏中的作物。
不过，这个领域的变化非常快，不久的将来可能会有可行的解决方案。接下来，我将讨论文本到 3D 技术可能发展的一些方向。
文本到 3D 技术的未来
尽管文本到 3D 技术最近取得了长足的进步，但从现状到能产生像文本到图像那样巨大影响的水平之间，仍有相当大的差距。我只能推测如何弥合这一差距。有两个最明显的可能方向：
- NeRF 到网格和网格生成技术的改进。正如我们所见，当前的生成模型类似于摄影测量，需要大量工作才能生产出游戏就绪的资产。虽然这在某些情况下很有用，比如创建逼真的高保真资产，但它仍然比从头开始制作低多边形资产更耗时，特别是如果你像我一样使用超低多边形艺术风格。
- 允许在引擎中直接渲染 NeRF 的新渲染技术。虽然没有官方公告，但可以推测，NVIDIA 和 Google 等公司可能正在这方面开展工作。
当然，只有时间能告诉我们答案。如果你想跟上最新的进展，欢迎在 Twitter 上关注我。如果我错过了任何新的发展，也请随时联系我！
点击这里阅读第 4 部分，我们将使用 AI 处理 2D 资产。
鸣谢
感谢 Poli @multimodalart 提供了关于最新开源文本到 3D 技术的信息。
