推理端点(专用)文档

添加自定义依赖项

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始

添加自定义依赖项

推理端点的基本镜像包含运行 Transformers 模型推理所需的所有库,但它也支持自定义依赖项。如果您想

  • 自定义您的推理管道 并需要额外的 Python 依赖项
  • 运行需要特殊依赖项的模型,例如最新版本的库或某个库的固定版本(例如,tapas (torch-scatter))。

要添加自定义依赖项,请在 Hugging Face Hub 上的模型存储库中添加一个包含您要安装的 Python 依赖项的 requirements.txt 文件。当您的端点和镜像工件被创建时,推理端点会检查模型存储库中是否包含 requirements.txt 文件,并安装其中列出的依赖项。

optimum[onnxruntime]==1.2.3
mkl-include
mkl

查看以下模型存储库中的 requirements.txt 文件以获取示例

有关更多信息,请查看如何在您使用自己的自定义容器 进行推理时创建和安装依赖项。

< > 更新 在 GitHub 上