推理端点 (专用) 文档

使用自定义容器镜像

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

使用自定义容器镜像

推理端点不仅允许您自定义推理处理程序,还允许您提供自定义容器镜像。 这些可以是公共镜像,例如 tensorflow/serving:2.7.3,也可以是托管在 Docker HubAWS ECRAzure ACRGoogle GCR 上的私有镜像。

custom container config

从自定义镜像创建图像工件的创建流程与基础镜像相同。 这意味着推理端点将从您提供的镜像创建一个唯一的图像工件,包括所有模型工件。

模型工件(权重)存储在 /repository 下。 例如,如果您使用 tensorflow/serving 作为您的自定义镜像,则必须设置 model_base_path=“/repository”

tensorflow_model_server \
  --rest_api_port=5000 \
  --model_name=my_model \
  --model_base_path="/repository"
< > 在 GitHub 上更新