LLM 课程文档

🤗 Datasets,检查完毕!

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

🤗 Datasets,检查完毕!

Ask a Question

好了,这是一次对 🤗 Datasets 库的完整浏览——祝贺你走到这一步!有了本章所学的知识,你应该能够:

  • 从任何地方加载数据集,无论是 Hugging Face Hub、你的笔记本电脑,还是你公司的远程服务器。
  • 使用 Dataset.map()Dataset.filter() 函数的组合来处理你的数据。
  • 使用 Dataset.set_format() 快速在 Pandas 和 NumPy 等数据格式之间切换。
  • 创建你自己的数据集并将其推送到 Hugging Face Hub。
  • 使用 Transformer 模型嵌入你的文档,并使用 FAISS 构建语义搜索引擎。

第 7 章中,我们将把所有这些知识付诸实践,深入探讨 Transformer 模型擅长的核心 NLP 任务。不过,在跳到下一章之前,先通过一个快速测验来检验你对 🤗 Datasets 的知识!

< > 在 GitHub 上更新