Giskard 在 Spaces 上

Giskard 是一个用于 LLM、表格和 NLP 模型的 AI 模型质量测试工具包。它包含一个用于扫描和测试 AI 模型的开源 Python 库和一个 AI 模型质量测试应用程序，该应用程序现在可以使用 Hugging Face 的 Docker Spaces 部署。扩展开源库的功能，AI 模型质量测试应用程序使您能够

• 调试测试以诊断您的问题

• 由于自动模型洞察，创建特定于域的测试

• 比较模型以决定要推广哪个模型

• 收集模型结果的业务反馈

• 与同事分享您的结果以保持一致

• 将所有 QA 对象（测试、数据切片、评估标准等）存储在一个地方，以提高工作效率

访问 Giskard 的文档 和 快速入门指南，了解如何使用 Giskard 提供的全部工具。

在接下来的部分中，您将学习如何部署您自己的 Giskard AI 模型质量测试应用程序，并在 Hugging Face Spaces 上直接使用它。此 Giskard 应用程序是一个完全使用 Docker 托管在 Spaces 上的独立应用程序。

在 Spaces 上部署 Giskard

您只需点击几下即可在 Spaces 上部署 Giskard

您需要定义所有者（您的个人帐户或组织）、Space 名称和可见性。如果您不想公开共享您的模型和质量测试，请将您的 Space 设置为私有。

创建 Space 后，您将看到构建中状态。一旦变为运行中，您的 Space 就准备好了。如果屏幕上没有显示变化，请刷新页面。

申请免费许可证

您的 Giskard Space 运行起来后，您需要申请免费许可证才能开始使用该应用程序。然后您将自动收到一封包含许可证文件的电子邮件。

创建新的 Giskard 项目

进入应用程序后，从欢迎屏幕开始创建一个新项目。

生成 Hugging Face Giskard Space 令牌和 Giskard API 密钥

Giskard API 密钥用于在运行 AI 模型的环境与 Hugging Face Spaces 上的 Giskard 应用程序之间建立通信。如果您将 Space 的可见性设置为私有，则需要提供 Hugging Face 用户访问令牌来生成 Hugging Face Giskard Space 令牌并建立用于访问您的私有 Space 的通信。为此，请按照 Giskard 应用程序设置页面中显示的说明进行操作。

启动 ML 工作程序

Giskard 使用工作程序直接在您的 Python 环境中执行您的模型，其中包含模型所需的所有依赖项。您可以从以下位置执行 ML 工作程序

• 包含模型所有依赖项的内核中的本地笔记本

• 包含模型所有依赖项的内核中的 Google Colab

• 包含模型所有依赖项的 Python 环境中的终端

只需在包含模型所有依赖项的 Python 环境中运行以下命令

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上传您的测试套件、模型和数据集

为了开始为项目构建质量测试，您需要上传模型和数据集对象，并从 Giskard Python 库中创建或上传测试套件。

这些操作都需要在您的 Python 环境和 Giskard Space 之间建立连接。通过初始化 Giskard 客户端来实现这一点：只需从 Giskard 应用程序的设置页面复制“创建 Giskard 客户端”代码片段，并在您的 Python 环境中运行它。它看起来会像这样

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

如果您遇到问题，请前往 Giskard 的 上传对象文档页面。

反馈和支持

如果您有任何建议或需要特定支持，请加入 Giskard 的 Discord 社区 或者在 Giskard 的 GitHub 仓库 上联系我们。