添加自定义依赖项

Inference Endpoints 的基础镜像包含在 Transformers 模型上运行推理所需的所有库，但也支持自定义依赖项。如果您想要

• 自定义您的推理管道 并且需要额外的 Python 依赖项，这将非常有用
• 运行需要特殊依赖项的模型，例如库的最新版本或固定版本（例如，tapas (torch-scatter)）。

要添加自定义依赖项，请在您的 Hugging Face Hub 上的模型仓库中添加一个 requirements.txt 文件，其中包含您要安装的 Python 依赖项。当您的 Endpoint 和 Image artifacts 创建时，Inference Endpoints 会检查模型仓库是否包含 requirements.txt 文件，并安装其中列出的依赖项。

optimum[onnxruntime]==1.2.3
mkl-include
mkl

查看以下模型仓库中的 requirements.txt 文件以获取示例

• Optimum 和 onnxruntime
• diffusers

有关更多信息，请查看当您为推理使用您自己的自定义容器时，如何创建和安装依赖项。