创建自定义推理处理程序

Hugging Face 端点支持所有 Transformers 和 Sentence-Transformers 任务，并可支持自定义任务，包括自定义预处理和后处理。自定义可通过 Hugging Face Hub 上模型存储库中的 handler.py 文件完成。

该 handler.py 需要实现 EndpointHandler 类，其中包含 __init__ 和 __call__ 方法。

如果要使用自定义依赖项，例如 optimum，则必须在 requirements.txt 中列出这些依赖项，如上文“添加自定义依赖项”中所述。

自定义处理程序示例

Hugging Face Hub 上已有多个公开示例，您可以从中汲取灵感或直接使用。这些存储库标有 endpoints-template 标签，可通过此链接找到。

包含的示例包括：

教程

在创建自定义处理程序之前，您需要一个包含模型权重的 Hugging Face 模型存储库和一个具有 *写入* 访问权限的访问令牌。要查找、创建和管理访问令牌，请点击此处。

如果您想为社区中的现有模型编写自定义处理程序，可以使用 repo_duplicator 创建存储库分支。

代码也可以在此 Notebook 中找到。

您也可以在此处搜索已有的自定义处理程序：https://huggingface.co/models?other=endpoints-template

1. 设置开发环境

开发自定义处理程序最简单的方法是设置一个本地开发环境，在那里实现、测试和迭代，然后将其部署为推理端点。第一步是安装所有所需的开发依赖项。*创建自定义处理程序所需，推理不需要*

# install git-lfs to interact with the repository
sudo apt-get update
sudo apt-get install git-lfs
# install transformers (not needed since it is installed by default in the container)
pip install transformers[sklearn,sentencepiece,audio,vision]

安装完库后，我们将把存储库克隆到我们的开发环境。

在本教程中，我们将使用 philschmid/distilbert-base-uncased-emotion。

git lfs install
git clone https://huggingface.co/philschmid/distilbert-base-uncased-emotion

为了能够稍后推送我们的模型仓库，您需要登录到我们的 HF 账户。这可以通过使用 huggingface-cli 完成。

注意：请务必也配置 git config。

# setup cli with token
huggingface-cli login
git config --global credential.helper store

2. 创建 EndpointHandler

设置好环境后，我们可以开始创建自定义处理程序。自定义处理程序是一个 Python 类 (EndpointHandler)，位于存储库中的 handler.py 文件内。EndpointHandler 需要实现 __init__ 和 __call__ 方法。

__init__ 方法将在端点启动时调用，并将接收 1 个参数，即模型权重路径的字符串。这允许您正确加载模型。
__call__ 方法将在每次请求时被调用，并接收一个字典，其中包含您的请求正文作为 Python 字典。它将始终包含 inputs 键。

第一步是在我们存储库的本地克隆中创建 handler.py。

!cd distilbert-base-uncased-emotion && touch handler.py

在其中，您将使用 __init__ 和 __call__ 方法定义您的 EndpointHandler 类。

from typing import Dict, List, Any

class EndpointHandler():
    def __init__(self, path=""):
        # Preload all the elements you are going to need at inference.
        # pseudo:
        # self.model= load_model(path)

    def __call__(self, data: Dict[str, Any]) -> List[Dict[str, Any]]:
        """
       data args:
            inputs (:obj: `str` | `PIL.Image` | `np.array`)
            kwargs
      Return:
            A :obj:`list` | `dict`: will be serialized and returned
        """

        # pseudo
        # self.model(input)

3. 自定义 EndpointHandler

现在，您可以将您想要在初始化或推理期间使用的所有自定义逻辑添加到您的自定义端点。如果您需要一些灵感，可以在 Hub 上找到多个自定义处理程序。在我们的示例中，我们将根据额外的负载信息添加一个自定义条件。

我们在教程中使用的模型经过微调，可以检测情绪。我们将为日期添加一个额外的负载字段，并将使用一个外部包来检查它是否是假期，从而添加一个条件：当输入日期是假期时，模型返回“happy”——因为假期时每个人都很开心 🌴🎉😆

首先，我们需要创建一个新的 requirements.txt 并添加我们的假期检测包，并确保我们也在开发环境中安装了它。

!echo "holidays" >> requirements.txt
!pip install -r requirements.txt

接下来，我们必须调整我们的 handler.py 和 EndpointHandler 以符合我们的条件。

from typing import Dict, List, Any
from transformers import pipeline
import holidays

class EndpointHandler():
    def __init__(self, path=""):
        self.pipeline = pipeline("text-classification",model=path)
        self.holidays = holidays.US()

    def __call__(self, data: Dict[str, Any]) -> List[Dict[str, Any]]:
        """
       data args:
            inputs (:obj: `str`)
            date (:obj: `str`)
      Return:
            A :obj:`list` | `dict`: will be serialized and returned
        """
        # get inputs
        inputs = data.pop("inputs",data)
        date = data.pop("date", None)

        # check if date exists and if it is a holiday
        if date is not None and date in self.holidays:
          return [{"label": "happy", "score": 1}]


        # run normal prediction
        prediction = self.pipeline(inputs)
        return prediction

4. 测试 EndpointHandler

为了测试我们的 EndpointHandler，我们可以简单地导入、初始化和测试它。因此，我们只需要准备一个示例负载。

from handler import EndpointHandler

# init handler
my_handler = EndpointHandler(path=".")

# prepare sample payload
non_holiday_payload = {"inputs": "I am quite excited how this will turn out", "date": "2022-08-08"}
holiday_payload = {"inputs": "Today is a though day", "date": "2022-07-04"}

# test the handler
non_holiday_pred=my_handler(non_holiday_payload)
holiday_payload=my_handler(holiday_payload)

# show results
print("non_holiday_pred", non_holiday_pred)
print("holiday_payload", holiday_payload)

# non_holiday_pred [{'label': 'joy', 'score': 0.9985942244529724}]
# holiday_payload [{'label': 'happy', 'score': 1}]

它奏效了！🎉

注意：如果您使用的是 Notebook，当您更改 handler.py 时，可能需要重新启动内核，因为它不会自动重新导入。

5. 将自定义处理程序推送到您的存储库

成功在本地测试处理程序后，您可以使用基本 git 命令将其推送到您的存储库。

# add all our new files
!git add *
# commit our files
!git commit -m "add custom handler"
# push the files to the hub
!git push

现在，您应该在“文件和版本”选项卡中看到您的存储库中的 handler.py 和 requirements.txt。

6. 将您的自定义处理程序部署为推理端点

最后一步是将您的自定义处理程序部署为推理端点。您可以像部署常规推理端点一样部署您的自定义处理程序。添加您的存储库，选择您的云和区域，您的实例和安全设置，然后部署。

创建端点时，推理端点服务将检查是否有可用且有效的 handler.py，并将其用于处理请求，无论您选择哪个“任务”。

注意：在您的推理端点仪表板中，此端点的任务现在应设置为“自定义”

< > 在 GitHub 上更新

推理端点（专用）