在 Hugging Face 上使用 Unity Sentis 模型

Unity 3D 是世界上最受欢迎的游戏引擎之一。 Unity Sentis 是在 Unity 2023 或更高版本上运行的推理引擎。它是一个 API，允许您轻松地在游戏或应用程序中集成和运行神经网络模型，利用硬件加速。由于 Unity 可以导出到包括 PC、移动和主机在内的多种形式因素，这意味着这是一种在多种类型的硬件上运行神经网络模型的简便方法。

在 Hub 中探索 Sentis 模型

您可以在模型页面的左侧筛选 unity-sentis 模型。

Hub 中的所有 Sentis 模型都附带代码和说明，可帮助您轻松开始在 Unity 中使用模型。在 unity 命名空间下的所有 Sentis 模型（例如，unity/sentis-yolotinyv7）都已验证可以正常工作，因此您可以确保它们将在 Unity 中运行。

要详细了解如何使用 Sentis，您可以阅读其文档。要获得使用 Sentis 的其他用户的帮助，您可以咨询其讨论论坛

文件类型

每个仓库将包含几种类型的文件

sentis 文件：这些是包含在 Unity 上运行的神经网络的主要模型文件。
ONNX 文件：这是您可以除了 Sentis 文件之外或代替 Sentis 文件包含的另一种格式。它对于使用第三方工具（例如 Netron）进行可视化可能会有用。
cs 文件：这些是包含在 Unity 上运行模型的代码的 C# 文件。
info.json：此文件包含有关仓库中文件的的信息。
数据文件。这些是运行模型所需的其它文件。它们可能包括词汇文件、类名列表等。一些典型的文件将具有扩展名 json 或 txt。
README.md。这是模型卡片。它包含有关如何使用模型和其他相关信息的说明。

运行模型

始终参考模型卡上的说明。预计您已具备一些 Unity 知识和 C# 的基本知识。

打开 Unity 2023 或更高版本，并创建一个新场景。
从包管理器安装 com.unity.sentis 包。
下载模型文件 (*.sentis) 和数据文件，并将它们放在 StreamingAssets 文件夹中，该文件夹位于 Assets 文件夹的子文件夹中。(如果该文件夹不存在，您可以创建它)。
将您的 C# 文件放置在场景中的某个对象上，例如主相机。
参考模型卡，查看您是否需要在场景中创建其他对象。

在大多数情况下，我们只提供基本实现以帮助您快速上手。您可以自行寻找创意用途。例如，您可能想要组合两个或多个模型来做一些有趣的事情。

分享您自己的 Sentis 模型

我们鼓励您在 Hugging Face 上分享您自己的 Sentis 模型。这些模型可能是您自己训练的，也可能是您已转换为 Sentis 格式并在 Unity 中测试过的模型。

请为每个上传的仓库提供 Sentis 格式的模型。这将额外检查它们是否可以在 Unity 中运行，也是大型模型的首选格式。您也可以包含模型文件的原始 ONNX 版本。

提供一个具有最小实现的 C# 文件。例如，图像处理模型应该包含显示如何准备图像以进行输入以及如何从输出中构建图像的代码。或者，您可以链接到一些外部示例代码。这将使其他人能够轻松地下载并在 Unity 中使用该模型。

提供运行模型所需的所有数据文件。例如，词汇文件。

最后，请提供一个 info.json 文件，其中列出了项目的各个文件。这有助于统计下载次数。info.json 内容的一些示例：

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

或者如果您的代码示例是外部的

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

其他信息

我们还提供一些完整的示例项目来帮助您开始使用 Sentis。