推理端点版本

Hugging Face 推理端点附带一个默认的提供服务容器，用于所有 支持的 Transformers 和 Sentence-Transformers 任务 以及 自定义推理处理程序 并实现批处理。下面您将找到有关已安装包和所用版本的更多信息。

您可以通过在模型存储库中添加 requirements.txt 文件来始终升级已安装包和自定义包。在 添加自定义依赖项 中阅读更多内容。

已安装包和版本

Hugging Face 推理运行时具有 PyTorch 和 TensorFlow 的单独版本（用于 CPU 和 GPU），它们基于创建推理端点时选择的 框架 使用。TensorFlow 和 PyTorch 版本在下面的列表中分组在一起。

通用

• Python: 3.11
• huggingface_hub: 0.20.3
• pytorch: 2.2.0
• transformers[sklearn,sentencepiece,audio,vision]: 4.38.2
• diffusers: 0.26.3
• accelerate: 0.27.2
• sentence_transformers: 2.4.0
• pandas: 最新
• peft: 0.9.0
• tensorflow: 最新

GPU

• CUDA: 12.3

优化后的容器

• text-generation-inference: 2.1.0
• text-embeddings-inference: 1.2.0

< > 在 GitHub 上更新