Featherless AI 现已登陆 Hugging Face 推理服务提供商 🔥
我们很高兴地宣布，Featherless AI 现已成为 Hugging Face Hub 上受支持的推理服务提供商！Featherless AI 加入了我们不断壮大的生态系统，增强了直接在 Hub 模型页面上进行 Serverless 推理的广度和能力。推理服务提供商也无缝集成到我们的客户端 SDK（包括 JS 和 Python）中，让您可以非常轻松地通过您喜欢的提供商使用各种模型。
Featherless AI 支持多种文本和对话模型，包括来自 DeepSeek、Meta、Google、Qwen 等的最新开源模型。
Featherless AI 是一家 Serverless AI 推理提供商，拥有独特的模型加载和 GPU 编排能力，为用户提供了异常庞大的模型目录。通常，提供商要么以低成本提供有限的一组模型，要么提供无限范围的模型但用户需要管理服务器和相关的运营成本。Featherless 提供了两全其美的方案，既有无与伦比的模型范围和种类，又采用了 Serverless 定价。您可以在模型页面上找到支持的模型的完整列表。
我们非常期待看到您将使用这个新提供商构建出什么样的应用！
请在其专门的文档页面中阅读更多关于如何使用 Featherless 作为推理服务提供商的信息。
工作原理
在网站 UI 中
- 在您的用户帐户设置中，您可以
- 为您已注册的提供商设置您自己的 API 密钥。如果未设置自定义密钥，您的请求将通过 HF 路由。在文档中了解有关请求类型的更多信息。
- 按偏好顺序排列提供商。这适用于模型页面中的小组件和代码片段。
- 如前所述，调用推理服务提供商时有两种模式
- 自定义密钥（调用直接发送到推理服务提供商，使用您自己的相应提供商的 API 密钥）
- 通过 HF 路由（在这种情况下，您不需要提供商的令牌，费用将直接计入您的 HF 帐户，而不是提供商的帐户）
- 模型页面会展示第三方推理服务提供商（与当前模型兼容的，并按用户偏好排序）
通过客户端 SDK
使用 huggingface_hub 的 Python
以下示例展示了如何使用 Featherless AI 作为推理提供商来运行 DeepSeek-R1。您可以使用 Hugging Face 令牌通过 Hugging Face 进行自动路由，或者如果您有自己的 Featherless AI API 密钥，也可以使用它。
安装或升级 huggingface_hub 以确保您的版本为 v0.33.0 或更高：pip install --upgrade huggingface-hub
import os
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="featherless-ai",
api_key=os.environ["HF_TOKEN"]
)
messages = [
{
"role": "user",
"content": "What is the capital of France?"
}
]
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-R1-0528",
messages=messages,
)
print(completion.choices[0].message)
使用 @huggingface/inference 的 JS
import { InferenceClient } from "@huggingface/inference";
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({
model: "deepseek-ai/DeepSeek-R1-0528",
messages: [
{
role: "user",
content: "What is the capital of France?"
}
],
provider: "featherless-ai",
});
console.log(chatCompletion.choices[0].message);
计费
对于直接请求，即当您使用推理服务提供商的密钥时，您将由相应的提供商计费。例如，如果您使用 Featherless AI API 密钥，费用将计入您的 Featherless AI 账户。
对于路由请求，即当您通过 Hugging Face Hub 进行身份验证时，您只需支付标准的提供商 API 费率。我们不收取任何额外费用，只是直接转嫁提供商的成本。（未来，我们可能会与我们的提供商合作伙伴建立收入共享协议。）
重要提示 ‼️ PRO 用户每月可获得价值 2 美元的推理额度。您可以在不同的提供商之间使用这些额度。🔥
订阅 Hugging Face PRO 计划，即可获得推理额度、ZeroGPU、空间开发模式、20 倍更高的限制以及更多功能。
我们还为已登录的免费用户提供带有少量配额的免费推理，但如果可以的话，请升级到 PRO！
反馈和后续步骤
我们非常希望得到您的反馈！请在此处分享您的想法和/或评论： https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49
