使用 Inference API 部署 AI 漫画工厂

发布于 2023 年 10 月 2 日
在 GitHub 上更新

我们最近发布了 Inference for PROs,这是我们为更广泛的用户群体提供更大型模型的新产品。这个机会为使用 Hugging Face 作为平台运行最终用户应用程序开辟了新的可能性。

这类应用的一个例子是 AI 漫画工厂 - 一个非常受欢迎的 Space。成千上万的用户已经尝试用它来创作自己的 AI 漫画画板,并由此形成了一个由常规用户组成的社区。他们分享自己的创作,有些人甚至还提交了 pull request。

在本教程中,我们将向您展示如何复刻和配置 AI 漫画工厂,以避免长时间的等待,并使用 Inference API 将其部署到您自己的私有空间。这不需要很强的技术技能,但建议您对 API、环境变量以及对 LLM 和 Stable Diffusion 有一定的了解。

开始入门

首先,请确保您注册一个 PRO Hugging Face 账户,因为这将允许您访问 Llama-2 和 SDXL 模型。

AI 漫画工厂的工作原理

AI 漫画工厂与在 Hugging Face 上运行的其他 Space 有些不同:它是一个使用 Docker 部署的 NextJS 应用程序,基于客户端-服务器架构,需要两个 API 才能工作

  • 一个语言模型 API (目前是 Llama-2)
  • 一个 Stable Diffusion API (目前是 SDXL 1.0)

复制 Space

要复制 AI 漫画工厂,请进入 Space 并点击“Duplicate”

duplicate-space-1.jpg

您会发现 Space 所有者、名称和可见性已经为您填写好了,所以您可以保留这些值不变。

您的 Space 副本将在一个不需要太多资源的 Docker 容器中运行,因此您可以使用最小的实例。官方的 AI 漫画工厂 Space 使用了一个更大的 CPU 实例,因为它需要服务于大量的用户。

要在您的账户下运行 AI 漫画工厂,您需要配置您的 Hugging Face 令牌

duplicate-space-2.jpg

选择 LLM 和 SD 引擎

AI 漫画工厂支持多种后端引擎,可以通过两个环境变量进行配置

  • LLM_ENGINE 用于配置语言模型 (可选值为 INFERENCE_APIINFERENCE_ENDPOINTOPENAI)
  • RENDERING_ENGINE 用于配置图像生成引擎 (可选值为 INFERENCE_APIINFERENCE_ENDPOINTREPLICATEVIDEOCHAIN)。

我们将专注于让 AI 漫画工厂在 Inference API 上运行,因此这两个变量都需要设置为 INFERENCE_API

duplicate-space-3.jpg

您可以在项目的 README.env 配置文件中找到有关其他引擎和供应商的更多信息。

配置模型

AI 漫画工厂预先配置了以下模型

  • LLM_HF_INFERENCE_API_MODEL: 默认值为 meta-llama/Llama-2-70b-chat-hf
  • RENDERING_HF_RENDERING_INFERENCE_API_MODEL: 默认值为 stabilityai/stable-diffusion-xl-base-1.0

您的 PRO Hugging Face 账户已经可以访问这些模型,因此您无需进行任何操作或更改。

更进一步

AI 漫画工厂对 Inference API 的支持尚处于早期阶段,一些功能,例如 SDXL 的 refiner 步骤或图像放大,尚未移植过来。

尽管如此,我们希望这些信息能让您开始复刻和调整 AI 漫画工厂以满足您的需求。

请随意尝试社区中的其他模型,祝您玩得开心!

社区

注册登录 以发表评论