数据集文档
加载表格数据
并获得增强的文档体验
开始使用
加载表格数据
表格数据集是一种通用数据集,用于描述以行和列存储的任何数据,其中行代表一个示例,列代表一个特征(可以是连续的或分类的)。这些数据集通常存储在 CSV 文件、Pandas DataFrames 和数据库表中。本指南将向你展示如何从以下位置加载和创建表格数据集
- CSV 文件
- Pandas DataFrames
- 数据库
CSV 文件
🤗 Datasets 可以通过在 load_dataset() 方法中指定通用的 csv
数据集构建器名称来读取 CSV 文件。要加载多个 CSV 文件,请将它们作为列表传递给 data_files
参数
>>> from datasets import load_dataset
>>> dataset = load_dataset("csv", data_files="my_file.csv")
# load multiple CSV files
>>> dataset = load_dataset("csv", data_files=["my_file_1.csv", "my_file_2.csv", "my_file_3.csv"])
你还可以将特定的 CSV 文件映射到 train 和 test 拆分
>>> dataset = load_dataset("csv", data_files={"train": ["my_train_file_1.csv", "my_train_file_2.csv"], "test": "my_test_file.csv"})
要加载远程 CSV 文件,请传递 URL
>>> base_url = "https://huggingface.co/datasets/lhoestq/demo1/resolve/main/data/"
>>> dataset = load_dataset('csv', data_files={"train": base_url + "train.csv", "test": base_url + "test.csv"})
要加载 zipped CSV 文件
>>> url = "https://domain.org/train_data.zip"
>>> data_files = {"train": url}
>>> dataset = load_dataset("csv", data_files=data_files)
Pandas DataFrames
🤗 Datasets 还支持使用 Pandas DataFrames 和 from_pandas() 方法从 Pandas DataFrames 加载数据集
>>> from datasets import Dataset
>>> import pandas as pd
# create a Pandas DataFrame
>>> df = pd.read_csv("https://huggingface.co/datasets/imodels/credit-card/raw/main/train.csv")
>>> df = pd.DataFrame(df)
# load Dataset from Pandas DataFrame
>>> dataset = Dataset.from_pandas(df)
使用 splits
参数来指定数据集拆分的名称
>>> train_ds = Dataset.from_pandas(train_df, split="train")
>>> test_ds = Dataset.from_pandas(test_df, split="test")
如果数据集看起来与预期不符,你应该显式地指定你的数据集特征。 pandas.Series 可能并不总是携带足够的信息供 Arrow 自动推断数据类型。例如,如果 DataFrame 的长度为 0
,或者如果 Series 仅包含 None/NaN
对象,则类型将设置为 null
。
数据库
存储在数据库中的数据集通常通过 SQL 查询访问。使用 🤗 Datasets,你可以连接到数据库,查询你需要的数据,并从中创建数据集。然后,你可以使用 🤗 Datasets 的所有处理功能来准备你的数据集以进行训练。
SQLite
SQLite 是一个小型、轻量级的数据库,它快速且易于设置。如果你愿意,可以使用现有数据库,或者按照步骤从头开始。
首先使用来自纽约时报的这份 Covid-19 数据快速创建一个 SQLite 数据库
>>> import sqlite3
>>> import pandas as pd
>>> conn = sqlite3.connect("us_covid_data.db")
>>> df = pd.read_csv("https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-states.csv")
>>> df.to_sql("states", conn, if_exists="replace")
这将在 us_covid_data.db
数据库中创建一个 states
表,你现在可以将其加载到数据集中。
要连接到数据库,你需要标识数据库的 URI 字符串。使用 URI 连接到数据库会缓存返回的数据集。URI 字符串对于每种数据库方言都不同,因此请务必查看你正在使用的任何数据库的数据库 URL。
对于 SQLite,它是
>>> uri = "sqlite:///us_covid_data.db"
通过将表名和 URI 传递给 from_sql() 来加载表
>>> from datasets import Dataset
>>> ds = Dataset.from_sql("states", uri)
>>> ds
Dataset({
features: ['index', 'date', 'state', 'fips', 'cases', 'deaths'],
num_rows: 54382
})
然后你可以使用 🤗 Datasets 的所有处理功能,例如 filter()
>>> ds.filter(lambda x: x["state"] == "California")
你还可以从 SQL 查询而不是整个表加载数据集,这对于查询和连接多个表很有用。
通过将你的查询和 URI 传递给 from_sql() 来加载数据集
>>> from datasets import Dataset
>>> ds = Dataset.from_sql('SELECT * FROM states WHERE state="California";', uri)
>>> ds
Dataset({
features: ['index', 'date', 'state', 'fips', 'cases', 'deaths'],
num_rows: 1019
})
然后你可以使用 🤗 Datasets 的所有处理功能,例如 filter()
>>> ds.filter(lambda x: x["cases"] > 10000)
PostgreSQL
你还可以连接并从 PostgreSQL 数据库加载数据集,但我们不会在文档中直接演示如何操作,因为该示例仅用于在 notebook 中运行。 相反,请查看此 notebook,了解如何在其中安装和设置 PostgreSQL 服务器!
在你设置好 PostgreSQL 数据库后,你可以使用 from_sql() 方法从表或查询加载数据集。
< > 在 GitHub 上更新