使用您自己的容器进行部署

如果现有推理引擎无法满足您的需求，您可以将自己的自定义解决方案部署为 Docker 容器，并在推理端点上运行。您可以使用公共镜像，例如 tensorflow/serving:2.7.3，或托管在 Docker Hub、AWS ECR、Azure ACR 或 Google GCR 上的私有镜像。

custom container

从自定义镜像创建镜像工件的创建流程与基础镜像相同。这意味着推理端点将从您提供的镜像派生出一个独特的镜像工件，包括所有模型工件。

模型工件（权重）存储在 /repository 下。例如，如果您使用 tensorflow/serving 作为您的自定义镜像，则必须设置 `model_base_path="/repository"

tensorflow_model_server \
  --rest_api_port=5000 \
  --model_name=my_model \
  --model_base_path="/repository"

推理端点（专用）