推理服务提供商

文本生成

根据提示生成文本。

如果您对基于消息列表生成响应的聊天补全任务感兴趣，请查看 chat-completion 任务。

推荐模型

• google/gemma-2-2b-it: 一个经过训练以遵循指令的文本生成模型。
• deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B: 最强大模型之一的较小变体。
• meta-llama/Meta-Llama-3.1-8B-Instruct: 一个经过训练以遵循指令的非常强大的文本生成模型。
• microsoft/phi-4: 微软开发的强大文本生成模型。
• simplescaling/s1.1-32B: 一个具有推理能力的非常强大的模型。
• Qwen/Qwen2.5-7B-Instruct-1M: 支持非常长指令的强大对话模型。
• Qwen/Qwen2.5-Coder-32B-Instruct: 用于编写代码的文本生成模型。
• deepseek-ai/DeepSeek-R1: 强大的基于推理的开源大型语言模型。

在此处探索所有可用模型并找到最适合您的模型。

使用 API

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="moonshotai/Kimi-K2-Instruct",
    messages="\"Can you please let us know more details about your \"",
)

print(completion.choices[0].message)

API 规范

请求

响应

输出类型取决于 `stream` 输入参数。如果 `stream` 为 `false`（默认），则响应将是具有以下字段的 JSON 对象：

如果 `stream` 为 `true`，生成的令牌将作为流返回，使用服务器发送事件 (SSE)。有关流的更多信息，请查看本指南。