Hugging Face 的 Logo

Hub 文档

在 Hugging Face 上使用 spaCy

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始

在 Hugging Face 上使用 spaCy

spaCy 是一个流行的用于高级自然语言处理的库，在工业界被广泛使用。spaCy 使您可以轻松地使用和训练用于命名实体识别、文本分类、词性标注等任务的管道，并让您构建强大的应用程序来处理和分析大量的文本。

在 Hub 中探索 spaCy 模型

来自 spaCy 3.3 的官方模型位于 spaCy 组织页面。社区中的任何人也可以分享他们的 spaCy 模型，您可以通过在模型页面的左侧进行筛选来找到它们。

Hub 上的所有模型都带有有用的功能

  1. 自动生成的模型卡片，包含标签方案、指标、组件等。
  2. 右上角的评估部分，您可以在其中查看指标。
  3. 元数据标签，有助于发现，并包含许可证和语言等信息。
  4. 一个交互式小部件，您可以使用它直接在浏览器中试用模型
  5. 一个允许发出推理请求的推理 API。

使用现有模型

Hub 中的所有 spaCy 模型都可以使用 pip install 直接安装。

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

要查找感兴趣的链接，您可以转到包含 spaCy 模型的仓库。当您打开仓库时，可以单击“Use in spaCy”（在 spaCy 中使用），您将获得一个可用于安装和加载模型的工作代码片段！

安装完成后，您可以像加载任何 spaCy 管道一样加载模型。

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

分享你的模型

使用 spaCy CLI（推荐）

spacy-huggingface-hub 库扩展了 spaCy 原生 CLI，因此人们可以轻松地将其打包的模型推送到 Hub。

您可以从 pip 安装 spacy-huggingface-hub

pip install spacy-huggingface-hub

然后，您可以检查命令是否已成功注册

python -m spacy huggingface-hub --help

要使用 CLI 进行推送，您可以使用如下所示的 huggingface-hub push 命令。

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
参数 类型 描述
whl_path str / Path 使用 spacy package 打包的 .whl 文件的路径。
--org, -o str 管道应上传到的组织的名称（可选）。
--msg, -m str 用于更新的提交消息。默认为 "Update spaCy pipeline"。
--local-repo, -l str / Path 模型仓库的本地路径（如果不存在将创建）。默认为当前工作目录中的 hub。
--verbose, -V bool 输出用于调试的附加信息，例如，完整的生成的 hub 元数据。

然后，您可以上传使用 spacy package 打包的任何管道。确保设置 --build wheel 以输出二进制 .whl 文件。上传器将从管道包中读取所有元数据，包括自动生成的漂亮的 README.md 和 meta.json 中提供的模型详细信息。

huggingface-cli login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

只需一分钟，您就可以将打包的模型放在 Hub 中，直接在浏览器中试用，并与社区的其他成员分享。所有必需的元数据都将为您上传，您甚至可以获得一张很酷的模型卡片。

该命令将输出两件事

  • 在哪里可以在 Hub 中找到你的仓库！例如，https://huggingface.co/spacy/en_core_web_sm
  • 以及如何直接从 Hub 安装管道！

从 Python 脚本

您可以使用 Python 中的 push 函数。它返回一个字典，其中包含已发布模型和 wheel 文件的 "url" 和 "whl_url"，您稍后可以使用 pip install 安装它们。

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

其他资源

  • spacy-huggingface-hub 库。
  • 发布博客文章
  • spaCy v 3.1 公告
  • spaCy 文档
< > 在 GitHub 上更新

←SetFit SpanMarker→