推理端点容器类型

当您创建端点时，在选择容器类型时有多种选项。

默认

默认容器类型是部署端点的最简单方法，并且由于自定义推理处理器而具有灵活性。 Hugging Face 推理工具包现已公开，网址为 https://github.com/huggingface/huggingface-inference-toolkit。

如果您想自定义镜像并包含自定义容器，请选择自定义容器类型。

选择文本嵌入推理容器类型，以获得 TEI 为您的端点带来的所有优势。如果您的模型支持此选项，您将在 UI 中看到它。

选择文本生成推理容器类型，以获得 TGI 为您的端点带来的所有优势。如果您的模型支持此选项，您将在 UI 中看到它。

选择文本生成推理 Inferentia2 Neuron 容器类型，以便在 AWS Inferentia2 实例上使用 TGI 部署模型。如果您的模型支持此选项，您将在 UI 中看到它。

选择文本生成推理 TPU 容器类型，以便在 Google Cloud TPU 实例上使用 TGI 部署模型。如果您的模型支持此选项，您将在 UI 中看到它。

自 2024 年 10 月 1 日起，NIM 容器类型将不再为推理端点中已存在的端点提供官方支持。 选择 NIM 容器类型以用于 NVIDIA 支持的模型。如果您的模型支持此选项，您将在 UI 中看到它。