文本嵌入推理

Text Embeddings Inference (TEI) 是一个全面的工具包，专为高效部署和提供开源文本嵌入模型而设计。它为最流行的模型（包括 FlagEmbedding、Ember、GTE 和 E5）实现了高性能提取。

TEI 提供了多项旨在优化部署流程和增强整体性能的功能。

主要功能

• 简化的部署： TEI 消除了模型图编译步骤的需要，从而简化了部署过程。
• 高效的资源利用： 受益于小的 Docker 镜像和快速的启动时间，从而实现真正的无服务器能力。
• 动态批处理： TEI 结合了基于令牌的动态批处理，从而优化了推理期间的资源利用率。
• 优化的推理： TEI 利用 Flash Attention、Candle 和 cuBLASLt，通过使用优化的 transformers 代码进行推理。
• Safetensors 权重加载： TEI 加载 Safetensors 权重以加快启动时间。
• 生产就绪： TEI 通过 Open Telemetry 支持分布式追踪，并导出 Prometheus 指标。

基准测试

在 NVIDIA A10 上对 BAAI/bge-base-en-v1.5 进行基准测试，序列长度为 512 个令牌

开始使用

要开始使用 TEI，请查看快速入门指南。

< > 在 GitHub 上更新