添加自定义依赖项
推理端点的基本镜像包含运行 Transformers 模型推理所需的所有库,但它也支持自定义依赖项。如果您想
- 自定义您的推理管道 并需要额外的 Python 依赖项
- 运行需要特殊依赖项的模型,例如最新版本的库或某个库的固定版本(例如,
tapas
(torch-scatter
))。
要添加自定义依赖项,请在 Hugging Face Hub 上的模型存储库中添加一个包含您要安装的 Python 依赖项的 requirements.txt
文件。当您的端点和镜像工件被创建时,推理端点会检查模型存储库中是否包含 requirements.txt
文件,并安装其中列出的依赖项。
optimum[onnxruntime]==1.2.3 mkl-include mkl
查看以下模型存储库中的 requirements.txt
文件以获取示例
有关更多信息,请查看如何在您使用自己的自定义容器 进行推理时创建和安装依赖项。
< > 更新 在 GitHub 上