Spaces 上的 Giskard

Giskard 是一个 AI 模型质量测试工具包，用于 LLM、表格数据和 NLP 模型。它包含一个用于扫描和测试 AI 模型的开源 Python 库，以及一个 AI 模型质量测试应用程序，现在可以使用 Hugging Face 的 Docker Spaces 部署该应用程序。通过扩展开源库的功能，AI 模型质量测试应用程序使您能够

• 调试测试以诊断您的问题

• 借助自动模型洞察创建特定领域的测试

• 比较模型以决定提升哪个模型

• 收集模型结果的业务反馈

• 与同事分享您的结果以进行对齐

• 将所有 QA 对象（测试、数据切片、评估标准等）存储在一个位置，以更有效地工作

访问 Giskard 的文档和 快速入门指南，了解如何使用 Giskard 提供的全套工具。

在接下来的部分中，您将学习如何部署您自己的 Giskard AI 模型质量测试应用程序，并直接从 Hugging Face Spaces 使用它。这个 Giskard 应用程序是一个完全托管在 Spaces 上，使用 Docker 的独立应用程序。

在 Spaces 上部署 Giskard

您只需点击几下即可在 Spaces 上部署 Giskard

您需要定义所有者（您的个人帐户或组织）、Space 名称和可见性。如果您不想公开分享您的模型和质量测试，请将您的 Space 设置为私有。

创建 Space 后，您将看到“正在构建”状态。一旦变为“正在运行”，您的 Space 就可以使用了。如果您没有看到屏幕上的变化，请刷新页面。

申请免费许可证

一旦您的 Giskard Space 启动并运行，您需要申请免费许可证才能开始使用该应用程序。然后您将自动收到一封包含许可证文件的电子邮件。

创建一个新的 Giskard 项目

进入应用程序后，首先从欢迎屏幕创建一个新项目。

生成 Hugging Face Giskard Space Token 和 Giskard API 密钥

Giskard API 密钥用于在您的 AI 模型运行的环境与 Hugging Face Spaces 上的 Giskard 应用程序之间建立通信。如果您将 Space 的可见性设置为私有，您将需要提供 Hugging Face 用户访问令牌，以生成 Hugging Face Giskard Space Token 并建立通信以访问您的私有 Space。为此，请按照 Giskard 应用程序设置页面中显示的说明进行操作。

启动 ML worker

Giskard 使用 worker 执行您的模型，该 worker 直接在您的 Python 环境中运行模型，并包含模型所需的所有依赖项。您可以执行 ML worker，方式如下：

• 从您的本地 notebook 中，在包含模型所有依赖项的内核中

• 从 Google Colab 中，在包含模型所有依赖项的内核中

• 或者从您的终端中，在包含模型所有依赖项的 Python 环境中

只需在包含模型所有依赖项的 Python 环境中运行以下命令：

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上传您的测试套件、模型和数据集

为了开始为项目构建质量测试，您需要上传模型和数据集对象，并从 Giskard Python 库创建或上传测试套件。

这些操作都将需要在您的 Python 环境和 Giskard Space 之间建立连接。通过初始化 Giskard Client 来实现这一点：只需从 Giskard 应用程序的设置页面复制“创建 Giskard Client”代码段并在您的 Python 环境中运行它。它看起来会像这样：

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

如果您遇到问题，请访问 Giskard 的上传对象文档页面。

反馈和支持

如果您有建议或需要特定支持，请加入 Giskard 的 Discord 社区或在 Giskard 的 GitHub 存储库上联系我们。