文本嵌入推理文档

文本嵌入推理

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

文本嵌入推理

文本嵌入推理 (TEI) 是一个全面的工具包,旨在高效部署和提供开源文本嵌入模型。它能为最流行的模型,包括 FlagEmbedding、Ember、GTE 和 E5,提供高性能的特征提取。

TEI 提供多项功能,旨在优化部署过程并提升整体性能。

主要功能

  • 简化部署: TEI 无需模型图编译步骤,使部署过程更简便。
  • 高效资源利用: 受益于小巧的 Docker 镜像和快速启动时间,实现真正的无服务器能力。
  • 动态批处理: TEI 采用基于令牌的动态批处理,从而优化推理期间的资源利用。
  • 优化推理: TEI 通过使用优化的 Transformer 代码进行推理,利用 Flash AttentionCandlecuBLASLt
  • Safetensors 权重加载: TEI 加载 Safetensors 权重以加快启动时间。
  • 生产就绪: TEI 通过 Open Telemetry 支持分布式追踪,并导出 Prometheus 指标。

基准测试

BAAI/bge-base-en-v1.5 在 NVIDIA A10 上,序列长度为 512 个 token 的基准测试

Latency comparison for batch size of 1 Throughput comparison for batch size of 1

Latency comparison for batch size of 32 Throughput comparison for batch size of 32

入门指南

要开始使用 TEI,请查阅快速入门指南。

< > 在 GitHub 上更新