文本嵌入推理文档
支持的模型和硬件
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
支持的模型和硬件
我们正在持续扩展对其他模型类型的支持，并计划在未来的更新中包含它们。
支持的嵌入模型
文本嵌入推理目前支持带有绝对位置的 Nomic、BERT、CamemBERT、XLM-RoBERTa 模型，带有 Alibi 位置的 JinaBERT 模型，以及带有 Rope 位置的 Mistral、Alibaba GTE、Qwen2 模型，以及 MPNet、ModernBERT 和 Qwen3。
以下是一些当前支持模型的示例
| MTEB 排名 | 模型大小 | 模型类型 | 模型 ID |
|---|---|---|---|
| 2 | 8B（非常昂贵） | Qwen3 | Qwen/Qwen3-Embedding-8B |
| 4 | 0.6B | Qwen3 | Qwen/Qwen3-Embedding-0.6B |
| 6 | 7B（非常昂贵） | Qwen2 | Alibaba-NLP/gte-Qwen2-7B-instruct |
| 7 | 0.5B | XLM-RoBERTa | intfloat/multilingual-e5-large-instruct |
| 14 | 1.5B（昂贵） | Qwen2 | Alibaba-NLP/gte-Qwen2-1.5B-instruct |
| 17 | 7B（非常昂贵） | Mistral | Salesforce/SFR-Embedding-2_R |
| 34 | 0.5B | XLM-RoBERTa | Snowflake/snowflake-arctic-embed-l-v2.0 |
| 40 | 0.3B | Alibaba GTE | Snowflake/snowflake-arctic-embed-m-v2.0 |
| 51 | 0.3B | Bert | WhereIsAI/UAE-Large-V1 |
| 不适用 | 0.4B | Alibaba GTE | Alibaba-NLP/gte-large-en-v1.5 |
| 不适用 | 0.4B | ModernBERT | answerdotai/ModernBERT-large |
| 不适用 | 0.3B | NomicBert | nomic-ai/nomic-embed-text-v2-moe |
| 不适用 | 0.1B | NomicBert | nomic-ai/nomic-embed-text-v1 |
| 不适用 | 0.1B | NomicBert | nomic-ai/nomic-embed-text-v1.5 |
| 不适用 | 0.1B | JinaBERT | jinaai/jina-embeddings-v2-base-en |
| 不适用 | 0.1B | JinaBERT | jinaai/jina-embeddings-v2-base-code |
| 不适用 | 0.1B | MPNet | sentence-transformers/all-mpnet-base-v2 |
要探索性能最佳的文本嵌入模型列表，请访问大规模文本嵌入基准（MTEB）排行榜。
支持的重排序模型和序列分类模型
文本嵌入推理目前支持带有绝对位置的 CamemBERT 和 XLM-RoBERTa 序列分类模型。
以下是一些当前支持模型的示例
| 任务 | 模型类型 | 模型 ID |
|---|---|---|
| 重排序 | XLM-RoBERTa | BAAI/bge-reranker-large |
| 重排序 | XLM-RoBERTa | BAAI/bge-reranker-base |
| 重排序 | GTE | Alibaba-NLP/gte-multilingual-reranker-base |
| 重排序 | ModernBert | Alibaba-NLP/gte-reranker-modernbert-base |
| 情感分析 | RoBERTa | SamLowe/roberta-base-go_emotions |
支持的硬件
文本嵌入推理支持在 CPU、图灵 (T4、RTX 2000 系列等)、安培 80 (A100、A30)、安培 86 (A10、A40 等)、Ada Lovelace (RTX 4000 系列等) 和 Hopper (H100) 架构上使用。
该库**不**支持 CUDA 计算能力 < 7.5，这意味着 V100、Titan V、GTX 1000 系列等不支持。
要利用您的 GPU，请确保安装 NVIDIA 容器工具包，并使用 CUDA 版本 12.2 或更高版本的 NVIDIA 驱动程序。
在下表中查找适用于您硬件的适当 Docker 镜像
| 架构 | 图像 |
|---|---|
| CPU | ghcr.io/huggingface/text-embeddings-inference:cpu-1.8 |
| Volta | 不支持 |
| 图灵 (T4、RTX 2000 系列等) | ghcr.io/huggingface/text-embeddings-inference:turing-1.8（实验性） |
| 安培 80 (A100、A30) | ghcr.io/huggingface/text-embeddings-inference:1.8 |
| 安培 86 (A10、A40 等) | ghcr.io/huggingface/text-embeddings-inference:86-1.8 |
| Ada Lovelace (RTX 4000 系列等) | ghcr.io/huggingface/text-embeddings-inference:89-1.8 |
| Hopper (H100) | ghcr.io/huggingface/text-embeddings-inference:hopper-1.8（实验性） |
警告：由于存在精度问题，Turing 镜像默认关闭 Flash Attention。您可以通过使用 USE_FLASH_ATTENTION=True 环境变量来打开 Flash Attention v1。