Inference Providers

文本生成

基于提示生成文本。

如果您对聊天补全任务感兴趣，该任务基于消息列表生成响应，请查看 chat-completion 任务。

推荐模型

• google/gemma-2-2b-it: 一个经过训练以遵循指令的文本生成模型。
• deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B: 最强大的模型之一的较小变体。
• meta-llama/Meta-Llama-3.1-8B-Instruct: 非常强大的文本生成模型，经过训练以遵循指令。
• microsoft/phi-4: Microsoft 强大的文本生成模型。
• Qwen/Qwen2.5-Coder-32B-Instruct: 用于编写代码的文本生成模型。
• deepseek-ai/DeepSeek-R1: 强大的基于推理的开放大型语言模型。

在这里浏览所有可用的模型，找到最适合您的模型 here。

使用 API

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="hf-inference",
    api_key="hf_xxxxxxxxxxxxxxxxxxxxxxxx",
)

completion = client.chat.completions.create(
    model="Qwen/QwQ-32B",
    messages="\"Can you please let us know more details about your \"",
    max_tokens=500,
)

print(completion.choices[0].message)

API 规范

请求

可以通过将标头传递给 Inference API 来配置一些选项。以下是可用的标头

有关 Inference API 标头的更多信息，请查看参数指南。

响应

输出类型取决于 stream 输入参数。如果 stream 为 false（默认），则响应将是一个 JSON 对象，包含以下字段

如果 stream 为 true，则生成的 token 将作为流返回，使用服务器发送事件 (SSE)。有关流的更多信息，请查看本指南。