检查数据集有效性
在您从 Hub 下载数据集之前，了解您感兴趣的特定数据集是否可用非常有用。数据集查看器提供 /is-valid 端点，用于检查特定数据集是否没有任何错误。
对于无法使用 🤗 数据集 库加载的数据集，API 端点将返回错误，例如，因为数据尚未上传或格式不受支持。
数据集查看器部分支持最大的数据集。如果它们是 可流式传输的，数据集服务器可以在不下载整个数据集的情况下提取前 100 行。对于预览大型数据集（下载整个数据集可能需要数小时）来说，这特别有用！请参阅
preview 字段（在 /is-valid 的响应中），以检查数据集是否部分受支持。本指南向您展示了如何以编程方式检查数据集有效性，但可以随意使用 Postman、RapidAPI 或 ReDoc 进行尝试。
检查数据集是否有效
/is-valid 检查特定数据集是否没有任何错误地加载。此端点的查询参数要求您指定数据集的名称
Python
JavaScript
cURL
import requests
headers = {"Authorization": f"Bearer {API_TOKEN}"}
API_URL = "https://datasets-server.huggingface.co/is-valid?dataset=cornell-movie-review-data/rotten_tomatoes"
def query():
response = requests.get(API_URL, headers=headers)
return response.json()
data = query()如果数据集有效，则响应如下所示
{
"viewer": true,
"preview": true,
"search": true,
"filter": true,
"statistics": true,
}如果数据集有效但 /search 不可用，则响应如下所示
{
"viewer": true,
"preview": true,
"search": false,
"filter": true,
"statistics": true,
}如果数据集有效但 /filter 不可用，则响应如下所示
{
"viewer": true,
"preview": true,
"search": true,
"filter": false,
"statistics": true,
}类似地，如果统计信息不可用
{
"viewer": true,
"preview": true,
"search": true,
"filter": true,
"statistics": false,
}如果仅数据集的前几行可用，则响应如下所示
{
"viewer": false,
"preview": true,
"search": true,
"filter": true,
"statistics": true,
}最后，如果数据集完全无效，则响应为
{
"viewer": false,
"preview": false,
"search": false,
"filter": false,
"statistics": false,
}数据集无效的一些情况是
- 数据集查看器被禁用
- 数据集受限，但未授予访问权限：未传递令牌或传递的令牌未经授权
- 数据集是私有的，但所有者不是 PRO 用户或企业 Hub 组织
- 数据集不包含任何数据或数据格式不受支持
请记住，如果数据集是 受限的，您需要提供您的用户令牌才能提交成功的查询！
< > 更新 在 GitHub 上