认证

为了访问私有或受限数据集，您需要先进行认证。认证通过提供一个访问令牌来完成，该令牌将用于认证和授权您访问受限和私有数据集。第一步是为您的帐户创建一个访问令牌。这可以通过访问 Hugging Face 设置 - 令牌 来完成。

提供令牌的方式有三种：设置环境变量、向读取器传递参数或使用 Hugging Face CLI。

环境变量

如果您设置了环境变量 HF_TOKEN，Polars 将在请求 Hugging Face 的数据集时自动使用它。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

参数

您还可以通过 storage_options 参数明确地向读取器（例如 read_parquet）提供访问令牌。有关所有参数的完整概述，请查阅 API 参考指南。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

或者，您可以使用 Hugging Face CLI 进行认证。成功登录 hf auth login 后，访问令牌将存储在 HF_HOME 目录中，默认为 ~/.cache/huggingface。Polars 将使用此令牌进行认证。

如果指定了多种方法，它们的优先级顺序如下：

• 参数 (storage_options)
• 环境变量 (HF_TOKEN)
• CLI