Hugging Face Generative AI Services (HUGS) 文档

支持的模型

Hugging Face Generative AI Services (HUGS)

加入 Hugging Face 社区

并获得增强的文档体验

协作开发模型、数据集和 Spaces

通过加速推理获得更快的示例

在文档主题之间切换

开始使用

支持的模型

HUGS 支持各种开放 AI 模型，包括 LLM、多模态模型和嵌入模型。下面是 HUGS 支持的所有模型及其支持的硬件矩阵。

15 个支持的模型

模型	1x NVIDIA A10G	2x NVIDIA A10G	4x NVIDIA A10G	8x NVIDIA A10G	1x NVIDIA L4	2x NVIDIA L4	4x NVIDIA L4	8x NVIDIA L4	1x NVIDIA L40S	2x NVIDIA L40S	4x NVIDIA L40S	8x NVIDIA L40S	1x NVIDIA A100 80GB	2x NVIDIA A100 80GB	4x NVIDIA A100 80GB	8x NVIDIA A100 80GB	1x NVIDIA H100	2x NVIDIA H100	4x NVIDIA H100	8x NVIDIA H100	8x AMD Instinct MI300X	2x inf2	8x inf2	24x inf2
meta-llama/Meta-Llama-3.1-8B-Instruct	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
meta-llama/Meta-Llama-3.1-70B-Instruct	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	✅	✅	✅	❌	❌	✅
meta-llama/Meta-Llama-3.1-405B-Instruct-FP8	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	❌
NousResearch/Hermes-3-Llama-3.1-8B	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
NousResearch/Hermes-3-Llama-3.1-70B	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	✅	✅	✅	❌	❌	✅
NousResearch/Hermes-3-Llama-3.1-405B-FP8	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	❌
NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	✅	❌	❌	✅
mistralai/Mixtral-8x7B-Instruct-v0.1	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	✅	❌	❌	✅
mistralai/Mistral-7B-Instruct-v0.3	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
mistralai/Mixtral-8x22B-Instruct-v0.1	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	❌	✅	✅	❌	❌	✅
google/gemma-2-27b-it	❌	❌	✅	✅	❌	❌	✅	✅	❌	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌
google/gemma-2-9b-it	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌
Qwen/Qwen2.5-7B-Instruct	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	❌	❌	❌	❌
meta-llama/Llama-3.2-11B-Vision-Instruct	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌	❌
meta-llama/Llama-3.2-90B-Vision-Instruct	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	❌	❌

最近更新: 2024-11-28

< > 在 GitHub 上更新

←Hugging Face Generative AI Services (HUGS) 支持的硬件提供商→