Hub 文档

你的第一个 Docker Space：使用 T5 进行文本生成

Hub

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

你的第一个 Docker Space：使用 T5 进行文本生成

在以下章节中，你将学习创建 Docker Space、配置它以及部署代码的基础知识。我们将使用 Docker 创建一个文本生成 Space，它将用于演示google/flan-t5-small模型，该模型可以使用 FastAPI 作为服务器，根据一些输入文本生成文本。

你可以在此处找到此托管的完整版本。

创建新的 Docker Space

我们将从创建一个全新的 Space 开始，并选择 Docker 作为我们的 SDK。

Hugging Face Spaces 是 Git 存储库，这意味着你可以通过推送提交来增量（和协作）地处理你的 Space。请参阅存储库入门指南，了解如何在继续之前创建和编辑文件。如果你更喜欢使用 UI，你也可以直接在浏览器中完成工作。

在创建新 Space 时选择 Docker 作为 SDK，将通过在 README.md 文件的 YAML 块中将 sdk 属性设置为 docker 来初始化你的 Docker Space。

sdk: docker

你可以通过在 README.md 文件的 YAML 块中设置 app_port 属性来更改 Space 的默认应用程序端口。默认端口是 7860。

app_port: 7860

添加依赖项

对于文本生成 Space，我们将构建一个 FastAPI 应用程序来展示一个名为 Flan T5 的文本生成模型。对于模型推理，我们将使用 🤗 Transformers pipeline 来使用该模型。我们需要首先安装一些依赖项。这可以通过在我们的存储库中创建一个 requirements.txt 文件并向其中添加以下依赖项来完成

fastapi==0.74.*
requests==2.27.*
sentencepiece==0.1.*
torch==1.11.*
transformers==4.*
uvicorn[standard]==0.17.*

这些依赖项将安装在我们稍后创建的 Dockerfile 中。

创建应用程序

让我们从一个虚拟的 FastAPI 应用程序开始，看看我们是否能让一个端点正常工作。第一步是创建一个应用程序文件，在本例中，我们将其命名为 main.py。

from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
    return {"Hello": "World!"}

创建 Dockerfile

Docker Space 的主要步骤是创建 Dockerfile。你可以在此处阅读更多关于 Dockerfile 的信息。尽管在本教程中我们使用 FastAPI，但 Dockerfile 为用户提供了极大的灵活性，允许你构建新一代的 ML 演示。让我们为我们的应用程序编写 Dockerfile

# read the doc: https://huggingface.co/docs/hub/spaces-sdks-docker
# you will also find guides on how best to write your Dockerfile

FROM python:3.9

# The two following lines are requirements for the Dev Mode to be functional
# Learn more about the Dev Mode at https://huggingface.co/dev-mode-explorers
RUN useradd -m -u 1000 user
WORKDIR /app

COPY --chown=user ./requirements.txt requirements.txt
RUN pip install --no-cache-dir --upgrade -r requirements.txt

COPY --chown=user . /app
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

保存更改后，Space 将重新构建，你的演示应该在几秒钟后启动！这里是此时的示例结果。

本地测试

高级用户提示（可跳过）： 如果你在本地开发，现在是进行 docker build 和 docker run 以在本地调试的好时机，但更简单的是将更改推送到 Hub 并查看它的效果！

docker build -t fastapi .
docker run  -it -p 7860:7860 fastapi

如果你有Secret，你可以使用 docker buildx 并将 Secret 作为构建参数传递

export SECRET_EXAMPLE="my_secret_value"
docker buildx build --secret id=SECRET_EXAMPLE,env=SECRET_EXAMPLE -t fastapi .

并使用 docker run 运行，将 secret 作为环境变量传递

export SECRET_EXAMPLE="my_secret_value"
docker run -it -p 7860:7860 -e SECRET_EXAMPLE=$SECRET_EXAMPLE fastapi

为我们的应用程序添加一些机器学习功能

如前所述，我们的想法是使用 Flan T5 模型进行文本生成。我们将为输入字段添加一些 HTML 和 CSS，所以让我们创建一个名为 static 的目录，其中包含 index.html、style.css 和 script.js 文件。此时，你的文件结构应该如下所示

/static
/static/index.html
/static/script.js
/static/style.css
Dockerfile
main.py
README.md
requirements.txt

让我们逐步完成所有步骤，使其正常工作。我们将跳过 CSS 和 HTML 的一些细节。你可以在 DockerTemplates/fastapi_t5 Space 的“文件和版本”选项卡中找到所有代码。

编写 FastAPI 端点以进行推理

我们将使用 transformers 中的 pipeline 来加载 google/flan-t5-small 模型。我们将设置一个名为 infer_t5 的端点，该端点接收输入并输出推理调用的结果

from transformers import pipeline

pipe_flan = pipeline("text2text-generation", model="google/flan-t5-small")

@app.get("/infer_t5")
def t5(input):
    output = pipe_flan(input)
    return {"output": output[0]["generated_text"]}

编写 index.html 以包含一个简单的表单，其中包含页面的代码。

<main>
  <section id="text-gen">
    <h2>Text generation using Flan T5</h2>
    <p>
      Model:
      <a
        href="https://huggingface.co/google/flan-t5-small"
        rel="noreferrer"
        target="_blank"
        >google/flan-t5-small
      </a>
    </p>
    <form class="text-gen-form">
      <label for="text-gen-input">Text prompt</label>
      <input
        id="text-gen-input"
        type="text"
        value="German: There are many ducks"
      />
      <button id="text-gen-submit">Submit</button>
      <p class="text-gen-output"></p>
    </form>
  </section>
</main>

在 main.py 文件中，挂载静态文件并在根路由中显示 html 文件

app.mount("/", StaticFiles(directory="static", html=True), name="static")

@app.get("/")
def index() -> FileResponse:
    return FileResponse(path="/app/static/index.html", media_type="text/html")

在 script.js 文件中，使其处理请求

const textGenForm = document.querySelector(".text-gen-form");

const translateText = async (text) => {
  const inferResponse = await fetch(`infer_t5?input=${text}`);
  const inferJson = await inferResponse.json();

  return inferJson.output;
};

textGenForm.addEventListener("submit", async (event) => {
  event.preventDefault();

  const textGenInput = document.getElementById("text-gen-input");
  const textGenParagraph = document.querySelector(".text-gen-output");

  textGenParagraph.textContent = await translateText(textGenInput.value);
});

如权限部分所述，容器以用户 ID 1000 运行。这意味着 Space 可能会遇到权限问题。例如，transformers 将模型下载并缓存到 HF_HOME 路径下的路径中。解决此问题的最简单方法是创建一个具有正确权限的用户，并使用它来运行容器应用程序。我们可以通过将以下行添加到 Dockerfile 来实现这一点。

# Switch to the "user" user
USER user

# Set home to the user's home directory
ENV HOME=/home/user \
	PATH=/home/user/.local/bin:$PATH

最终的 Dockerfile 应该如下所示


# read the doc: https://huggingface.co/docs/hub/spaces-sdks-docker
# you will also find guides on how best to write your Dockerfile

FROM python:3.9

# The two following lines are requirements for the Dev Mode to be functional
# Learn more about the Dev Mode at https://huggingface.co/dev-mode-explorers
RUN useradd -m -u 1000 user
WORKDIR /app

COPY --chown=user ./requirements.txt requirements.txt
RUN pip install --no-cache-dir --upgrade -r requirements.txt

COPY --chown=user . /app

USER user

ENV HOME=/home/user \
	PATH=/home/user/.local/bin:$PATH

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

成功！你的应用程序现在应该可以正常工作了！查看 DockerTemplates/fastapi_t5 以查看最终结果。

真是一段旅程！请记住，Docker Spaces 给你提供了很大的自由，所以你不局限于使用 FastAPI。从 Go 端点到 Shiny 应用程序，极限就是月球！查看一些官方示例。如果需要，你还可以将你的 Space 升级到 GPU 😃

调试

你可以通过查看构建和容器日志来调试你的 Space。点击打开日志按钮以打开模态框。

如果一切顺利，你将在构建选项卡上看到 Pushing Image 和 Scheduling Space

在容器选项卡上，你将看到应用程序状态，在此示例中为 Uvicorn running on http://0.0.0.0:7860

此外，你可以在 Space 上启用开发模式。开发模式允许你通过 VSCode 或 SSH 连接到你的运行中的 Space。在此处了解更多信息：https://huggingface.co/dev-mode-explorers