如何运行AI模型：本地 vs 远程

在这个游戏中，我们想要运行一个句子相似度模型，我将使用all-MiniLM-L6-v2。

这是一个BERT Transformer模型。它**已经过训练，所以我们可以直接使用它。**

但是这里，我有两种运行它的解决方案：

• 远程运行此AI模型：**在服务器上**。我发送API调用并从服务器获取响应。这需要互联网连接。
• 本地运行此AI模型：**在玩家的机器上。**

两者都是有效的解决方案，**但它们各有优缺点**。

远程运行模型

我在**远程服务器上**运行模型，并从游戏中发送API调用。我可以使用API服务来帮助部署模型。

例如，Hugging Face提供了一个名为推理API（免费用于原型设计和实验）的API服务，它允许您通过简单的API调用使用AI模型。我们还有一个Unity插件，用于从Unity项目中访问和使用Hugging Face AI模型。

优点

• 您无需使用玩家的RAM/VRAM来运行模型。
• 您的服务器可以记录数据，这样您就可以了解玩家通常输入的动作，从而改进您的NPC。

缺点

• 依赖互联网连接，可能因API延迟而中断沉浸式体验。
• 与API使用相关的潜在高成本，尤其是在玩家众多时。

通常，如果您使用无法在玩家机器上运行的非常大的模型，例如Llama 2等大型模型，您就会使用API。

本地运行模型

我本地运行模型：在玩家机器上。为了实现这一点，我使用了两个库。

1. Unity Sentis：神经网络推理库，允许我们直接在游戏内部运行AI模型。

2. Hugging Face Sharp Transformers库：一个Unity实用程序插件，用于在Unity游戏中运行Transformer 🤗模型。

优点

• 由于所有内容都在玩家的计算机上运行，因此没有使用成本。
• 玩家无需连接到互联网。

缺点

• 您使用玩家的RAM/VRAM，因此需要指定推荐配置。
• 您无法轻松了解人们如何使用游戏或模型。

由于我们将要使用的句子相似度模型很小，**我们决定在本地运行它**。

< > 在 GitHub 上更新