Hub 文档

使用 🤗 Datasets

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

使用 🤗 Datasets

一旦你在 Hugging Face Hub 上找到感兴趣的数据集,你可以使用 🤗 Datasets 加载数据集。你可以点击使用此数据集 按钮复制代码以加载数据集。

首先你需要使用你的 Hugging Face 账户登录,例如使用

huggingface-cli login

然后你可以使用以下代码从 Hugging Face Hub 加载数据集

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

你也可以将数据集上传到 Hugging Face Hub

my_new_dataset.push_to_hub("username/my_new_dataset")

这将创建一个数据集仓库 username/my_new_dataset,其中包含 Parquet 格式的数据集,你可以稍后重新加载它。

有关使用 🤗 Datasets 的更多信息,请查看 🤗 Datasets 文档中提供的教程操作指南

< > 在 GitHub 上更新