在 Hugging Face 中使用 Unity Sentis 模型

Unity 3D 是世界上最受欢迎的游戏引擎之一。Unity Sentis 是在 Unity 2023 或更高版本上运行的推理引擎。它是一个 API，允许您在游戏或应用程序中轻松集成和运行神经网络模型，并利用硬件加速。由于 Unity 可以导出到多种不同的设备类型，包括 PC、移动设备和游戏机，这意味着它是一种在多种不同硬件上运行神经网络模型的简便方法。

在 Hub 中探索 Sentis 模型

您可以通过在模型页面左侧进行过滤来找到 unity-sentis 模型。

Hub 中的所有 Sentis 模型都附带代码和说明，可让您轻松开始在 Unity 中使用模型。所有在 unity 命名空间下的 Sentis 模型（例如，unity/sentis-yolotinyv7）都经过验证可以运行，因此您可以确定它们将在 Unity 中运行。

要获取有关使用 Sentis 的更多详细信息，您可以阅读其文档。要从其他使用 Sentis 的人那里获得帮助，您可以在其讨论论坛中提问。

文件类型

每个仓库将包含几种类型的文件

sentis 文件：这些是包含在 Unity 上运行的神经网络的主要模型文件。
ONNX 文件：这是一种替代格式，您可以将其包含在 Sentis 文件之外或代替 Sentis 文件。它可用于使用第三方工具（例如Netron）进行可视化。
cs 文件：这些是包含在 Unity 上运行模型的代码的 C# 文件。
info.json：此文件包含有关仓库中文件的信息。
数据文件。这些是运行模型所需的其他文件。它们可能包括词汇文件、类名列表等。一些典型文件将具有 json 或 txt 扩展名。
README.md。这是模型卡。它包含有关如何使用模型和其他相关信息的说明。

运行模型

请始终参考模型卡上的说明。您需要对 Unity 有一定的了解，并对 C# 有一些基本的了解。

打开 Unity 2023 或更高版本并创建一个新场景。
从包管理器安装 com.unity.sentis 包。
下载您的模型文件 (*.sentis) 和数据文件，并将它们放在 StreamingAssets 文件夹中，该文件夹是 Assets 文件夹中的一个子文件夹。（如果此文件夹不存在，您可以创建它）。
将您的 C# 文件放置在场景中的对象上，例如主摄像机。
请参考模型卡，查看是否需要在场景中创建任何其他对象。

在大多数情况下，我们只提供基本的实现以帮助您开始运行。如何创造性地使用它取决于您。例如，您可能希望组合两个或更多模型来做有趣的事情。

分享您自己的 Sentis 模型

我们鼓励您在 Hugging Face 上分享您自己的 Sentis 模型。这些模型可能是您自己训练的，也可能是您已转换为Sentis 格式并已测试可在 Unity 中运行的模型。

请为每个您上传的仓库提供 Sentis 格式的模型。这提供了额外的检查以确保它们将在 Unity 中运行，并且也是大型模型的首选格式。您还可以包含模型的原始 ONNX 版本。

提供一个带有最小实现的 C# 文件。例如，图像处理模型应包含代码，显示如何为输入准备图像以及如何从输出构建图像。或者，您可以链接到一些外部示例代码。这将使其他人更容易在 Unity 中下载和使用模型。

提供运行模型所需的任何数据文件。例如，词汇文件。

最后，请提供一个 info.json 文件，其中列出了您项目的文件。这有助于计算下载量。info.json 内容的一些示例是

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

或者如果您的代码示例是外部的

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

附加信息

我们还提供了一些完整的示例项目，以帮助您开始使用 Sentis。

< > 在 GitHub 上更新