你的第一个 Docker Space：使用 T5 进行文本生成

在以下部分中，你将学习创建 Docker Space、配置它以及将代码部署到它的基础知识。我们将创建一个使用 Docker 的文本生成 Space，它将用于演示 google/flan-t5-small 模型，该模型可以使用 FastAPI 作为服务器，根据一些输入文本生成文本。

你可以在这里找到托管的完整版本。

创建一个新的 Docker Space

我们将从创建一个全新的 Space 并选择 Docker 作为我们的 SDK 开始。

Hugging Face Spaces 是 Git 仓库，这意味着你可以通过推送提交以增量方式（和协作方式）处理你的 Space。查看仓库入门指南，了解如何在继续操作之前创建和编辑文件。如果你更喜欢使用 UI，你也可以直接在浏览器中完成工作。

在创建新 Space 时选择 Docker 作为 SDK 将通过在你的 README.md 文件的 YAML 块中将 sdk 属性设置为 docker 来初始化你的 Docker Space。

sdk: docker

你可以通过在你的 README.md 文件的 YAML 块中设置 app_port 属性来更改你的 Space 的默认应用程序端口。默认端口为 7860。

app_port: 7860

添加依赖项

对于文本生成 Space，我们将构建一个 FastAPI 应用程序，展示一个名为 Flan T5 的文本生成模型。对于模型推理，我们将使用 🤗 Transformers pipeline 来使用该模型。我们需要从安装一些依赖项开始。这可以通过在我们的仓库中创建一个 requirements.txt 文件，并将以下依赖项添加到其中来完成

fastapi==0.74.*
requests==2.27.*
sentencepiece==0.1.*
torch==1.11.*
transformers==4.*
uvicorn[standard]==0.17.*

这些依赖项将在我们稍后创建的 Dockerfile 中安装。

创建应用程序

让我们从一个虚拟的 FastAPI 应用程序开始这个过程，看看我们是否可以让一个端点工作。第一步是创建一个应用程序文件，在本例中，我们将其命名为 main.py。

from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
    return {"Hello": "World!"}

创建 Dockerfile

Docker Space 的主要步骤是创建 Dockerfile。你可以在这里阅读更多关于 Dockerfile 的信息。虽然我们在这个教程中使用 FastAPI，但 Dockerfile 为用户提供了很大的灵活性，允许你构建新一代的 ML 演示。让我们为我们的应用程序编写 Dockerfile

# read the doc: https://huggingface.co/docs/hub/spaces-sdks-docker
# you will also find guides on how best to write your Dockerfile

FROM python:3.9

# The two following lines are requirements for the Dev Mode to be functional
# Learn more about the Dev Mode at https://huggingface.co/dev-mode-explorers
RUN useradd -m -u 1000 user
WORKDIR /app

COPY --chown=user ./requirements.txt requirements.txt
RUN pip install --no-cache-dir --upgrade -r requirements.txt

COPY --chown=user . /app
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

当更改保存后，Space 将重建，你的演示应该会在几秒钟后启动！这里是此时的一个示例结果。

本地测试

高级用户提示（你可以跳过）： 如果你在本地开发，这是一个很好的时机，你可以在本地进行 docker build 和 docker run 来进行调试，但更简单的方法是将更改推送到 Hub 并查看它的外观！

docker build -t fastapi .
docker run  -it -p 7860:7860 fastapi

如果你有 Secrets，你可以使用 docker buildx 并将 secrets 作为构建参数传递

export SECRET_EXAMPLE="my_secret_value"
docker buildx build --secret id=SECRET_EXAMPLE,env=SECRET_EXAMPLE -t fastapi .

并使用 docker run 运行，将 secrets 作为环境变量传递

export SECRET_EXAMPLE="my_secret_value"
docker run -it -p 7860:7860 -e SECRET_EXAMPLE=$SECRET_EXAMPLE fastapi

向我们的应用程序添加一些 ML

如前所述，我们的想法是使用 Flan T5 模型进行文本生成。我们将要为输入字段添加一些 HTML 和 CSS，所以让我们创建一个名为 static 的目录，其中包含 index.html、style.css 和 script.js 文件。此时，你的文件结构应该如下所示

/static
/static/index.html
/static/script.js
/static/style.css
Dockerfile
main.py
README.md
requirements.txt

让我们完成使之工作的所有步骤。我们将跳过 CSS 和 HTML 的一些细节。你可以在 DockerTemplates/fastapi_t5 Space 的“文件和版本”选项卡中找到完整的代码。

编写 FastAPI 端点以进行推理

我们将使用 transformers 中的 pipeline 来加载 google/flan-t5-small 模型。我们将设置一个名为 infer_t5 的端点，它接收输入并输出推理调用的结果

from transformers import pipeline

pipe_flan = pipeline("text2text-generation", model="google/flan-t5-small")

@app.get("/infer_t5")
def t5(input):
    output = pipe_flan(input)
    return {"output": output[0]["generated_text"]}

编写 index.html 以拥有一个包含页面代码的简单表单。

<main>
  <section id="text-gen">
    <h2>Text generation using Flan T5</h2>
    <p>
      Model:
      <a
        href="https://huggingface.co/google/flan-t5-small"
        rel="noreferrer"
        target="_blank"
        >google/flan-t5-small
      </a>
    </p>
    <form class="text-gen-form">
      <label for="text-gen-input">Text prompt</label>
      <input
        id="text-gen-input"
        type="text"
        value="German: There are many ducks"
      />
      <button id="text-gen-submit">Submit</button>
      <p class="text-gen-output"></p>
    </form>
  </section>
</main>

在 main.py 文件中，挂载静态文件并在根路由中显示 html 文件

app.mount("/", StaticFiles(directory="static", html=True), name="static")

@app.get("/")
def index() -> FileResponse:
    return FileResponse(path="/app/static/index.html", media_type="text/html")

在 script.js 文件中，使其处理请求

const textGenForm = document.querySelector(".text-gen-form");

const translateText = async (text) => {
  const inferResponse = await fetch(`infer_t5?input=${text}`);
  const inferJson = await inferResponse.json();

  return inferJson.output;
};

textGenForm.addEventListener("submit", async (event) => {
  event.preventDefault();

  const textGenInput = document.getElementById("text-gen-input");
  const textGenParagraph = document.querySelector(".text-gen-output");

  textGenParagraph.textContent = await translateText(textGenInput.value);
});

正如在权限部分讨论的那样，容器以用户 ID 1000 运行。这意味着 Space 可能会遇到权限问题。例如，transformers 下载并将模型缓存在 HF_HOME 路径下的路径中。解决此问题的最简单方法是创建一个具有正确权限的用户，并使用它来运行容器应用程序。我们可以通过将以下行添加到 Dockerfile 来做到这一点。

# Switch to the "user" user
USER user

# Set home to the user's home directory
ENV HOME=/home/user \
	PATH=/home/user/.local/bin:$PATH

最终的 Dockerfile 应该如下所示


# read the doc: https://huggingface.co/docs/hub/spaces-sdks-docker
# you will also find guides on how best to write your Dockerfile

FROM python:3.9

# The two following lines are requirements for the Dev Mode to be functional
# Learn more about the Dev Mode at https://huggingface.co/dev-mode-explorers
RUN useradd -m -u 1000 user
WORKDIR /app

COPY --chown=user ./requirements.txt requirements.txt
RUN pip install --no-cache-dir --upgrade -r requirements.txt

COPY --chown=user . /app

USER user

ENV HOME=/home/user \
	PATH=/home/user/.local/bin:$PATH

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

成功！你的应用程序现在应该可以工作了！查看 DockerTemplates/fastapi_t5 以查看最终结果。

多么棒的旅程！请记住，Docker Spaces 给你很大的自由度，所以你不必局限于使用 FastAPI。从 Go 端点到 Shiny 应用程序，你的想象力就是极限！查看一些官方示例。如果需要，你还可以将你的 Space 升级到 GPU 😃

调试

你可以通过查看“构建”和“容器”日志来调试你的 Space。单击“打开日志”按钮以打开模态框。

如果一切顺利，你将在“构建”选项卡上看到“正在推送镜像”和“正在调度 Space”

在 Container 选项卡中，您将看到应用程序状态，在本例中为 Uvicorn running on http://0.0.0.0:7860

此外，您可以在您的 Space 上启用 Dev Mode。Dev Mode 允许您通过 VSCode 或 SSH 连接到您正在运行的 Space。在此处了解更多信息： https://huggingface.co/dev-mode-explorers