文本嵌入推理

文本嵌入推理（TEI）是一个全面的工具包，旨在高效部署和提供开源文本嵌入模型服务。它能够为最流行的模型（包括 FlagEmbedding、Ember、GTE 和 E5）实现高性能提取。

TEI 提供多项功能，旨在优化部署过程并提升整体性能。

主要功能

• 简化部署：TEI 无需模型图编译步骤，使部署过程更加简便。
• 高效资源利用：得益于小巧的 Docker 镜像和快速启动时间，实现了真正的无服务器能力。
• 动态批处理：TEI 采用基于令牌的动态批处理，从而优化了推理过程中的资源利用。
• 优化推理：TEI 通过使用优化的 Transformer 代码进行推理，从而利用了Flash Attention、Candle和cuBLASLt。
• Safetensors 权重加载：TEI 加载 Safetensors 权重以加快启动时间。
• 生产就绪：TEI 支持通过 Open Telemetry 进行分布式跟踪并导出 Prometheus 指标。

基准测试

BAAI/bge-base-en-v1.5 在 NVIDIA A10 上进行基准测试，序列长度为 512 个 token

入门指南

要开始使用 TEI，请查看快速入门指南。

在 GitHub 上更新