使用 Unity Sentis 模型（来自 Hugging Face）

Unity 3D 是世界上最流行的游戏引擎之一。Unity Sentis 是在 Unity 2023 或更高版本上运行的推理引擎。它是一个 API，允许您轻松地在游戏或应用程序中集成和运行神经网络模型，并利用硬件加速。由于 Unity 可以导出到许多不同的外形尺寸，包括 PC、移动设备和游戏机，这意味着这是一种在许多不同类型的硬件上运行神经网络模型的简便方法。

在 Hub 中浏览 Sentis 模型

您可以通过在模型页面左侧进行筛选来找到 unity-sentis 模型。

Hub 中的所有 Sentis 模型都附带代码和说明，可让您轻松开始在 Unity 中使用该模型。unity 命名空间下的所有 Sentis 模型（例如，unity/sentis-yolotinyv7）都已验证可以工作，因此您可以确信它们将在 Unity 中运行。

要获得关于使用 Sentis 的更多详细信息，您可以阅读其文档。要获得其他使用 Sentis 的用户的帮助，您可以在其讨论论坛中提问

文件类型

每个仓库将包含几种类型的文件

sentis 文件：这些是主要模型文件，其中包含在 Unity 上运行的神经网络。
ONNX 文件：这是您可以包含在 Sentis 文件之外或替代 Sentis 文件的另一种格式。它对于使用第三方工具（如Netron）进行可视化非常有用。
cs 文件：这些是 C# 文件，其中包含在 Unity 上运行模型的代码。
info.json：此文件包含有关仓库中文件的信息。
数据文件。这些是运行模型所需的其他文件。它们可能包括词汇表文件、类名列表等。一些典型文件将具有扩展名 json 或 txt。
README.md。这是模型卡片。它包含有关如何使用模型的说明和其他相关信息。

运行模型

始终参考模型卡片上的说明。预计您对 Unity 有一定的了解，并对 C# 有一些基本知识。

打开 Unity 2023 或更高版本并创建一个新场景。
从程序包管理器安装 com.unity.sentis 程序包。
下载您的模型文件 (*.sentis) 和数据文件，并将它们放在 StreamingAssets 文件夹中，该文件夹是 Assets 文件夹内的子文件夹。（如果此文件夹不存在，您可以创建它）。
将您的 C# 文件放在场景中的对象上，例如主摄像机。
参考模型卡片，查看是否需要在场景中创建任何其他对象。

在大多数情况下，我们仅提供基本实现以帮助您启动和运行。如何发挥创意用途取决于您自己。例如，您可能希望组合两个或多个模型来完成有趣的事情。

分享您自己的 Sentis 模型

我们鼓励您在 Hugging Face 上分享您自己的 Sentis 模型。这些可能是您自己训练的模型，也可能是您已转换为Sentis 格式并已测试可在 Unity 中运行的模型。

请为您上传的每个仓库提供 Sentis 格式的模型。这为它们是否将在 Unity 中运行提供了额外的检查，并且也是大型模型的首选格式。您还可以包含模型文件的原始 ONNX 版本。

提供一个包含最少实现的 C# 文件。例如，图像处理模型应具有代码，该代码显示如何准备用于输入的图像并从输出构造图像。或者，您可以链接到一些外部示例代码。这将使其他人可以轻松下载并在 Unity 中使用该模型。

提供运行模型所需的任何数据文件。例如，词汇表文件。

最后，请提供一个 info.json 文件，其中列出了您的项目文件。这有助于统计下载次数。info.json 内容的一些示例如下

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

或者，如果您的代码示例是外部的

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

其他信息

我们还有一些完整的示例项目，以帮助您开始使用 Sentis。

< > 在 GitHub 上更新