身份验证

为了访问私有或受限数据集，您需要先进行身份验证。身份验证通过提供访问令牌来工作，该令牌将用于验证和授权您对受限和私有数据集的访问。第一步是为您的帐户创建访问令牌。这可以通过访问Hugging Face 设置 - 令牌来完成。

有三种方法可以提供令牌：设置环境变量、将参数传递给读取器或使用 Hugging Face CLI。

环境变量

如果您设置环境变量 HF_TOKEN，Polars 将在从 Hugging Face 请求数据集时自动使用它。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

参数

您还可以通过 storage_options 参数显式地将访问令牌提供给读取器（例如 read_parquet）。有关所有参数的完整概述，请查看API 参考指南。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

或者，您可以使用Hugging Face CLI 进行身份验证。使用 huggingface-cli login 成功登录后，访问令牌将存储在 HF_HOME 目录中，默认为 ~/.cache/huggingface。然后，Polars 将使用此令牌进行身份验证。

如果指定了多种方法，则按以下顺序优先考虑

• 参数 (storage_options)
• 环境变量 (HF_TOKEN)
• CLI