请求在 Azure 上的 Hugging Face 集合中添加模型

目前，Azure ML / AI 上的 Hugging Face 集合包含来自 Hugging Face Hub 的 10,000 多个开放模型，利用了 Text Generation Inference (TGI)、vLLM、SGLang、Text Embeddings Inference (TEI) 或 Hugging Face Inference Toolkit 等开源推理解决方案，未来还将支持更多解决方案。

要请求在 Azure ML / AI 目录（这些服务共享）上的 Hugging Face 集合中添加模型，您可以导航到 Hugging Face Hub 上的模型卡片，网址为 https://huggingface.co/models，然后单击“部署”按钮，查找“部署到 Azure ML”选项，该选项将自动检查给定模型是否已在集合中，并提示“请求添加”。

或者，您也可以提出一个问题，说明您希望在 Azure 上的 Hugging Face 集合中看到的模型。

在请求添加模型之前，您需要确保您希望在 Azure 上的 Hugging Face 集合中看到的一个或多个模型符合以下标准：

• 在 Hugging Face Hub 上具有 Transformers、Diffusers 或 Sentence-Transformers 标签中的任何一个，这意味着模型架构与这些框架中的任何一个兼容。如果您希望在集合中看到的模型不符合此标准，您可以查阅 向 Transformers 贡献新模型 指南，了解如何将新的基于模块的模型架构添加到 Transformers 中。

• 确保任务标签是目前支持的任何任务，如 Azure AI - 支持的任务 中所列。如果该页面中没有列出该任务，也没有列在即将到来的任务列表中，那么请随时提出一个问题，请求添加该任务。再次强调，根据上述观点，它需要是一个与 Transformers、Diffusers 或 Sentence-Transformers 兼容的任务。

• 如果您想从生产级推理解决方案和用于文本生成和嵌入的 OpenAI 兼容接口中受益，您还应该确保给定模型分别具有 text-generation-inference（简写为 tgi）或 text-embeddings-inference（简写为 tei）标签。

• 在某些情况下，“部署到 Azure ML”按钮可能未启用（不应该是这种情况，但可能发生），在这种情况下，请随意提出一个问题，分享模型卡，我们将确定该模型是否可以在 Azure 的目录中。

• Hugging Face Hub 模型必须是公开的，并且理想情况下没有任何门控限制，私有或门控模型目前不予考虑。

• 出于安全原因，带有 trust_remote_code 的 Hugging Face Hub 模型不允许使用，除非经过手动验证或来自已验证的组织。

• 最后，模型权重需要是 Safetensors 格式，并通过 JFrog、ClamAV 和 Hugging Face Hub 中执行的其他安全检查。

< > 在 GitHub 上更新