数据集 - Hugging Face 文档

数据集

🤗 Datasets 是一个用于轻松访问和共享音频、计算机视觉和自然语言处理 (NLP) 任务的 AI 数据集的库。

只需一行代码即可加载数据集，并使用我们强大的数据处理和流式处理方法，快速准备好数据集以供深度学习模型进行训练。基于 Apache Arrow 格式，通过零拷贝读取处理大型数据集，没有任何内存限制，从而实现最佳的速度和效率。我们还与 Hugging Face Hub 进行了深度集成，使您能够轻松地与更广泛的机器学习社区加载和共享数据集。

立即在 Hugging Face Hub 上查找您的数据集，并使用实时查看器深入了解它。

教程

学习基础知识，熟悉数据集的加载、访问和处理。如果您是第一次使用 🤗 Datasets，请从这里开始！

操作指南

实用的指南，帮助您实现特定目标。请参阅这些指南，了解如何使用 🤗 Datasets 来解决现实世界的问题。

概念指南

高层次的解释，帮助您更好地理解重要主题，例如底层数据格式、缓存以及数据集是如何生成的。

参考

关于 🤗 Datasets 类和方法工作原理的技术说明。

在 GitHub 上更新