LLM 课程文档
🤗 数据集,搞定!
加入 Hugging Face 社区
并获得增强的文档体验
开始
🤗 数据集,搞定!
好了,这真是一次 🤗 Datasets 库的全面游览 — 恭喜你坚持到了这里!通过在本章学到的知识,你应该能够:
- 从任何地方加载数据集,无论是 Hugging Face Hub、你的笔记本电脑,还是你公司的远程服务器。
- 使用
Dataset.map()
和Dataset.filter()
函数的组合来整理你的数据。 - 使用
Dataset.set_format()
在 Pandas 和 NumPy 等数据格式之间快速切换。 - 创建你自己的数据集并将其推送到 Hugging Face Hub。
- 使用 Transformer 模型嵌入你的文档,并使用 FAISS 构建语义搜索引擎。
在 第 7 章 中,我们将充分利用所有这些知识,深入探讨 Transformer 模型擅长的核心 NLP 任务。不过,在继续前进之前,先通过一个快速测验来测试你对 🤗 Datasets 的了解!
< > 在 GitHub 上更新