Inference Endpoints 版本

Hugging Face Inference Endpoints 附带一个默认的 serving 容器，用于所有受支持的 Transformers 和 Sentence-Transformers 任务以及自定义推理处理程序，并实现批处理。下面您将找到有关已安装的软件包和版本的信息。

您始终可以通过将 requirements.txt 文件添加到您的模型仓库来升级已安装的软件包和自定义软件包。阅读添加自定义依赖项了解更多信息。

已安装软件包与版本

Hugging Face Inference Runtime 为 CPU 和 GPU 的 PyTorch 和 TensorFlow 提供了单独的版本，这些版本在创建 Inference Endpoint 时会根据选择的 framework 使用。TensorFlow 和 PyTorch 版本在下面的列表中分组在一起。

通用

• Python: 3.11
• huggingface_hub: 0.20.3
• pytorch: 2.2.0
• transformers[sklearn,sentencepiece,audio,vision]: 4.48.0
• diffusers: 0.26.3
• accelerate: 0.27.2
• sentence_transformers: 2.4.0
• pandas: latest
• peft: 0.9.0
• tensorflow: latest

GPU

• CUDA: 12.3

< > 在 GitHub 上更新