🤗 数据集,检查!
嗯,这真是一个关于 🤗 数据集库的巡回之旅 - 祝贺您走到这一步!通过您从本章中学到的知识,您应该能够
- 从任何地方加载数据集,无论是 Hugging Face Hub、您的笔记本电脑还是您公司中的远程服务器。
- 使用
Dataset.map()
和Dataset.filter()
函数的组合来整理您的数据。 - 使用
Dataset.set_format()
快速在 Pandas 和 NumPy 等数据格式之间切换。 - 创建您自己的数据集并将其推送到 Hugging Face Hub。
- 使用 Transformer 模型嵌入您的文档,并使用 FAISS 构建语义搜索引擎。
在 第 7 章 中,我们将把所有这些付诸实践,深入探讨 Transformer 模型擅长的核心 NLP 任务。但是,在继续之前,请通过快速测试来检验您对 🤗 数据集的掌握程度!