支持的模型
鉴于开放式 ML 生态系统快速发展的特性,推理 API 公开了在社区中广受欢迎且处于积极使用状态的模型(根据最近的点赞、下载和使用情况)。因此,部署的模型可能会在未经事先通知的情况下进行切换。Hugging Face 堆栈旨在保持所有最新流行模型处于活跃状态并随时可以使用。
你可以找到
PRO 订阅有什么好处?
除了 Hub 中可用的数千个公共模型之外,PRO 和企业用户还可以获得更高的 速率限制,并免费使用以下模型
模型 | 大小 | 支持的上下文长度 | 用途 |
---|---|---|---|
Meta Llama 3.1 指令 | 8B, 70B | 70B:32k 个词元 / 8B:8k 个词元 | 具有大上下文长度的高质量多语言聊天模型 |
Meta Llama 3 指令 | 8B, 70B | 8k 个词元 | 最优秀的聊天模型之一 |
Meta Llama Guard 3 | 8B | 4k 个词元 | |
Llama 2 聊天 | 7B, 13B, 70B | 4k 个词元 | 最优秀的对话模型之一 |
DeepSeek Coder v2 | 236B | 16k 个词元 | 具有编码能力的模型。 |
Bark | 0.9B | - | 文本到音频生成 |
此列表并非详尽无遗,将来可能会更新。
运行私有模型
免费的无服务器 API 旨在运行流行的公共模型。如果你有私有模型,可以使用 推理端点 来部署它。
< > 更新 在 GitHub 上