使用自定义容器镜像
推理端点不仅允许你自定义你的推理处理程序,还允许你提供自定义容器镜像。这些可以是公共镜像,例如`tensorflow/serving:2.7.3`,也可以是托管在Docker Hub、AWS ECR、Azure ACR或Google GCR上的私有镜像。
从自定义镜像创建镜像工件的创建流程与基础镜像相同。这意味着推理端点将创建一个基于你提供的镜像的唯一镜像工件,包括所有模型工件。
模型工件(权重)存储在`repository`下。例如,如果你使用`tensorflow/serving`作为你的自定义镜像,那么你必须设置`model_base_path=“/repository”`
tensorflow_model_server \
--rest_api_port=5000 \
--model_name=my_model \
--model_base_path="/repository"