身份验证

为了访问私有或门控数据集，您需要先进行身份验证。身份验证通过提供访问令牌来实现，该令牌将用于验证和授权您访问门控和私有数据集。第一步是为您的帐户创建访问令牌。这可以通过访问 Hugging Face 设置 - 令牌 完成。

有三种提供令牌的方式：设置环境变量、将参数传递给读取器或使用 Hugging Face CLI。

环境变量

如果您设置环境变量 HF_TOKEN，Polars 在从 Hugging Face 请求数据集时将自动使用它。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

参数

您还可以通过 storage_options 参数显式地向读取器（例如 read_parquet）提供访问令牌。有关所有参数的完整概述，请查看 API 参考指南。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

或者，您可以使用 Hugging Face CLI 进行身份验证。使用 huggingface-cli login 成功登录后，访问令牌将存储在 HF_HOME 目录中，该目录默认为 ~/.cache/huggingface。然后 Polars 将使用此令牌进行身份验证。

如果指定了多种方法，则它们按以下顺序排列优先级

• 参数 (storage_options)
• 环境变量 (HF_TOKEN)
• CLI