Giskard on Spaces

Giskard 是一个用于 LLM、表格和 NLP 模型的 AI 模型质量测试工具包。它包含一个用于扫描和测试 AI 模型的开源 Python 库，以及一个 AI 模型质量测试应用程序，该应用程序现在可以使用 Hugging Face 的 Docker Spaces 进行部署。AI 模型质量测试应用程序扩展了开源库的功能，使您能够：

• 调试测试以诊断您的问题

• 通过自动模型洞察创建特定领域测试

• 比较模型以决定推广哪个模型

• 收集模型结果的业务反馈

• 与您的同事分享您的结果以保持一致

• 将所有 QA 对象（测试、数据切片、评估标准等）存储在一个地方，以更高效地工作

访问 Giskard 的文档和 快速入门指南，了解如何使用 Giskard 提供的全套工具。

在接下来的部分中，您将学习如何部署自己的 Giskard AI 模型质量测试应用程序，并直接从 Hugging Face Spaces 中使用它。这个 Giskard 应用程序是一个完全使用 Docker 托管在 Spaces 上的独立应用程序。

在 Spaces 上部署 Giskard

您只需点击几下即可在 Spaces 上部署 Giskard

您需要定义所有者（您的个人帐户或组织）、一个Space 名称和可见性。如果您不想公开共享您的模型和质量测试，请将您的 Space 设置为私人。

创建 Space 后，您将看到“Building”状态。一旦它变为“Running”，您的 Space 就准备就绪。如果您没有看到屏幕发生变化，请刷新页面。

申请免费许可证

一旦您的 Giskard Space 启动并运行，您将需要申请免费许可证才能开始使用该应用程序。然后您将自动收到一封包含许可证文件的电子邮件。

创建一个新的 Giskard 项目

进入应用程序后，首先从欢迎界面创建一个新项目。

生成 Hugging Face Giskard Space 令牌和 Giskard API 密钥

Giskard API 密钥用于建立您的 AI 模型运行环境与 Hugging Face Spaces 上的 Giskard 应用程序之间的通信。如果您已将您的 Space 的可见性设置为私人，则需要提供 Hugging Face 用户访问令牌以生成 Hugging Face Giskard Space 令牌并建立访问您的私人 Space 的通信。为此，请按照 Giskard 应用程序设置页面中显示的说明进行操作。

启动 ML Worker

Giskard 使用 worker 执行您的模型，该 worker 直接在您的 Python 环境中运行模型，并包含您的模型所需的所有依赖项。您可以执行 ML worker：

• 从您本地笔记本中包含您的模型所有依赖项的内核中

• 从 Google Colab 中包含您的模型所有依赖项的内核中

• 或从您终端中包含您的模型所有依赖项的 Python 环境中

只需在包含您的模型所有依赖项的 Python 环境中运行以下命令即可

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上传您的测试套件、模型和数据集

为了开始为项目构建质量测试，您需要上传模型和数据集对象，并从 Giskard Python 库创建或上传测试套件。

所有这些操作都需要您的 Python 环境与 Giskard Space 建立连接。通过初始化 Giskard Client 来实现这一点：只需从 Giskard 应用程序的设置页面复制“Create a Giskard Client”代码片段，并在您的 Python 环境中运行它。它看起来会像这样：

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

如果您遇到问题，请查阅 Giskard 的上传对象文档页面。

反馈和支持

如果您有建议或需要特定支持，请加入Giskard 的 Discord 社区或在Giskard 的 GitHub 存储库上联系我们。