Hub 文档
推理服务提供商
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
推理提供商
Hugging Face 的模型页面为数千种模型提供了按需推理服务，因此你可以在浏览器中直接试用所有模型。该服务由推理提供商提供支持，并包含一个免费层级。
推理提供商为开发者提供了一种简化、统一的方式来访问数百个机器学习模型，由最佳的无服务器推理合作伙伴提供支持。👉 有关完整文档，请访问推理提供商文档。
中心上的推理提供商
推理提供商与 Hugging Face 中心深度集成，您可以通过以下几种方式使用它：
- 交互式小组件 - 直接在模型页面上使用交互式小组件测试模型，这些小组件在底层使用推理提供商。请查看DeepSeek-R1-0528 模型页面以获取示例。
- 推理 Playground - 轻松测试和比较聊天完成模型与您的提示。请访问推理 Playground 开始使用。
- 搜索 - 在模型页面上按推理提供商筛选模型，以查找通过特定提供商可用的模型。
- 数据工作室 - 使用 AI 在中心上探索数据集。请在您喜欢的 数据集上查看数据工作室。
使用推理提供商构建
您可以使用我们的 SDK 或 HTTP 客户端将推理提供商集成到您自己的应用程序中。以下是使用 Python 和 JavaScript 的快速入门，更多详细信息请查看推理提供商文档。
python
javascript
您可以使用我们的 Python SDK 与推理提供商进行交互。
from huggingface_hub import InferenceClient
import os
client = InferenceClient(
api_key=os.environ["HF_TOKEN"],
provider="auto", # Automatically selects best provider
)
# Chat completion
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V3-0324",
messages=[{"role": "user", "content": "A story about hiking in the mountains"}]
)
# Image generation
image = client.text_to_image(
prompt="A serene lake surrounded by mountains at sunset, photorealistic style",
model="black-forest-labs/FLUX.1-dev"
)
或者，您也可以直接使用兼容 OpenAI API 的客户端。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://router.huggingface.co/v1",
api_key=os.environ["HF_TOKEN"],
)
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V3-0324",
messages=[
{
"role": "user",
"content": "A story about hiking in the mountains"
}
],
)兼容 OpenAI API 的客户端不支持图像生成。
您需要一个具有推理权限的 Hugging Face 令牌。请在设置 > 令牌中创建。
推理提供商的工作原理
要深入了解推理提供商，请查看推理提供商文档。以下是一些关键资源：
什么是 HF-Inference API？
HF-Inference API 是通过推理提供商可用的提供商之一。它以前被称为“推理 API（无服务器）”，其底层由推理端点提供支持。
有关 HF-Inference 提供商的更多详细信息，请查看其专用页面。
< > 在 GitHub 上更新