Hugging Face 推理解决方案概述

发布于 2022 年 11 月 21 日

每天，开发人员和组织都在采用托管在 Hugging Face 上的模型，将想法转化为概念验证演示，并将演示转化为生产级应用程序。例如，Transformer 模型已成为各种机器学习 (ML) 应用程序的流行架构，包括自然语言处理、计算机视觉、语音等。最近，扩散模型已成为文本到图像或图像到图像生成的流行架构。其他架构也适用于其他任务，我们都在 HF Hub 上托管它们！

在 Hugging Face，我们致力于简化 ML 开发和操作，同时不影响最先进的质量。在这方面，在 ML 项目的整个生命周期中，以最小的摩擦测试和部署最新模型的能力至关重要。优化成本性能比同样重要，我们感谢我们的朋友 Intel 赞助我们的免费基于 CPU 的推理解决方案。这是我们合作的又一个重要步骤。对于我们的用户社区来说，这也是个好消息，他们现在可以免费享受 Intel Xeon Ice Lake 架构带来的加速。

现在，让我们回顾一下 Hugging Face 的推理选项。

免费推理小部件

Hugging Face Hub 上我最喜欢的功能之一是推理小部件。推理小部件位于模型页面上，让您只需单击一下即可上传示例数据并进行预测。

这是一个使用 sentence-transformers/all-MiniLM-L6-v2 模型的句子相似度示例

这是快速了解模型功能、输出以及模型在数据集中的少量样本上表现的最佳方式。模型根据需要加载到我们的服务器上，并在不再需要时卸载。您无需编写任何代码，此功能是免费的。有什么理由不喜欢呢？

免费推理 API

推理 API 是推理小部件的底层支持。通过简单的 HTTP 请求，您可以在几秒钟内加载任何 Hub 模型并使用它来预测您的数据。您只需要模型 URL 和有效的 Hub 令牌。

以下是我如何用一行代码加载并使用 xlm-roberta-base 模型进行预测

curl https://api-inference.huggingface.co/models/xlm-roberta-base \
    -X POST \
    -d '{"inputs": "The answer to the universe is <mask>."}' \
    -H "Authorization: Bearer HF_TOKEN"

推理 API 是构建预测服务的最简单方法，您可以在开发和测试期间立即从应用程序调用该服务。无需定制 API 或模型服务器。此外，您可以立即从一个模型切换到下一个模型，并比较它们在应用程序中的性能。您猜怎么着？推理 API 是免费使用的。

由于实行速率限制，我们不建议将推理 API 用于生产环境。相反，您应该考虑使用推理端点。

使用推理端点进行生产

一旦您对 ML 模型的性能感到满意，就可以将其部署到生产环境了。不幸的是，当离开沙盒时，一切都变得令人担忧：安全性、扩展性、监控等。这是许多 ML 项目止步不前甚至失败的地方。我们构建了推理端点来解决这个问题。

只需点击几下，推理端点即可让您将任何 Hub 模型部署到安全可扩展的基础设施上，该基础设施托管在您选择的 AWS 或 Azure 区域。附加设置包括 CPU 和 GPU 托管、内置自动扩缩等。这使得找到合适的成本/性能比变得容易，定价低至每小时 0.06 美元。

推理端点支持三种安全级别

公共：端点在公共 Hugging Face 子网中运行，互联网上的任何人都可以未经身份验证访问它。
受保护：端点在公共 Hugging Face 子网中运行，互联网上拥有相应 Hugging Face 令牌的任何人都可以访问它。
私有：端点在私有 Hugging Face 子网中运行，无法通过互联网访问。它只能通过您 AWS 或 Azure 账户中的私有连接访问。这将满足最严格的合规性要求。