Hub 文档

在 Hugging Face 使用 spaCy

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

在 Hugging Face 使用 spaCy

spaCy 是一个流行的先进自然语言处理库,广泛应用于工业界。spaCy 使得使用和训练用于命名实体识别、文本分类、词性标注等任务的管道变得容易,并允许您构建强大的应用程序来处理和分析大量文本。

在 Hub 中探索 spaCy 模型

spaCy 3.3 的官方模型在 spaCy组织页面。社区中的任何人也可以分享他们的 spaCy 模型,您可以通过在模型页面左侧进行筛选来找到它们。

Hub 上的所有模型都附带了有用的功能

  1. 一个自动生成的模型卡,包含标签方案、指标、组件等。
  2. 右上角有一个评估部分,您可以在其中查看指标。
  3. 元数据标签有助于发现并包含许可证和语言等信息。
  4. 一个交互式小部件,您可以在浏览器中直接使用该模型进行操作
  5. 允许进行推理请求的推理 API。

使用现有模型

Hub 中的所有 spaCy 模型都可以直接使用 pip install 进行安装。

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

要找到感兴趣的链接,您可以访问包含 spaCy 模型的仓库。打开仓库后,您可以点击 Use in spaCy,然后会得到一个可用于安装和加载模型的工作代码片段!

安装后,您可以像加载任何 spaCy 管道一样加载模型。

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

分享您的模型

使用 spaCy CLI(推荐)

spacy-huggingface-hub 库扩展了 spaCy 原生 CLI,以便用户可以轻松地将其打包的模型推送到 Hub。

您可以从 pip 安装 spacy-huggingface-hub

pip install spacy-huggingface-hub

然后您可以检查命令是否成功注册

python -m spacy huggingface-hub --help

要使用 CLI 推送,您可以使用如下所示的 huggingface-hub push 命令。

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
参数 类型 描述
whl_path str / Path 使用 spacy package 打包的 .whl 文件的路径。
--org, -o 字符串 要上传管道的组织的可选名称。
--msg, -m 字符串 用于更新的提交消息。默认为 "Update spaCy pipeline"
--local-repo, -l str / Path 模型仓库的本地路径(如果不存在则创建)。默认为当前工作目录中的 hub
--verbose, -V 布尔值 输出用于调试的额外信息,例如完整的生成中心元数据。

然后,您可以上传任何使用 spacy package 打包的管道。请确保设置 --build wheel 以输出二进制 .whl 文件。上传器将从管道包中读取所有元数据,包括自动生成的漂亮 README.mdmeta.json 中可用的模型详细信息。

hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

只需一分钟,您就可以将打包好的模型上传到 Hub,直接在浏览器中试用,并与社区其他成员分享。所有必需的元数据都会为您上传,您甚至会得到一个很酷的模型卡片。

该命令将输出两项内容

从 Python 脚本

您可以使用 Python 中的 push 函数。它返回一个字典,其中包含已发布模型和 wheel 文件的 "url" 和 “whl_url”,您以后可以使用 pip install 进行安装。

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

其他资源

< > 在 GitHub 上更新