搜索 Hub
在本教程中,您将学习如何使用huggingface_hub
在 Hub 上搜索模型、数据集和空间。
如何列出存储库?
huggingface_hub
库包含一个 HTTP 客户端 HfApi 用于与 Hub 交互。除了其他功能外,它还可以列出存储在 Hub 上的模型、数据集和空间。
>>> from huggingface_hub import HfApi
>>> api = HfApi()
>>> models = api.list_models()
list_models() 的输出是存储在 Hub 上的模型的迭代器。
类似地,您可以使用 list_datasets() 列出数据集,使用 list_spaces() 列出空间。
如何过滤存储库?
列出存储库很棒,但现在您可能希望过滤您的搜索。列表助手具有多个属性,例如
filter
author
search
- …
让我们看一个示例,获取 Hub 上所有进行图像分类、使用 ImageNet 数据集训练且使用 PyTorch 运行的模型。
models = hf_api.list_models(
task="image-classification",
library="pytorch",
trained_dataset="imagenet",
)
在过滤时,您还可以对模型进行排序,并仅获取前几个结果。例如,以下示例获取 Hub 上下载量排名前 5 的数据集。
>>> list(list_datasets(sort="downloads", direction=-1, limit=5))
[DatasetInfo(
id='argilla/databricks-dolly-15k-curated-en',
author='argilla',
sha='4dcd1dedbe148307a833c931b21ca456a1fc4281',
last_modified=datetime.datetime(2023, 10, 2, 12, 32, 53, tzinfo=datetime.timezone.utc),
private=False,
downloads=8889377,
(...)
要探索 Hub 上可用的过滤器,请访问您的浏览器中的 models 和 datasets 页面,搜索一些参数并查看 URL 中的值。
< > 更新 在 GitHub 上