在 Hugging Face 中使用 PaddleNLP

利用 PaddlePaddle 框架，PaddleNLP 是一个易于使用且功能强大的 NLP 库，拥有出色的预训练模型库，支持从研究到工业应用的各种 NLP 任务。

在 Hub 中探索 PaddleNLP

您可以在模型页面左侧的过滤器中找到 PaddleNLP 模型。

Hub 上的所有模型都具有以下功能

自动生成的模型卡，其中包含简要描述和元数据标签，有助于发现。
一个交互式小部件，您可以直接在浏览器中使用它来测试模型。

一个允许您进行推理请求的推理 API。

轻松将您的模型部署为 Gradio 应用程序到 Spaces。

安装

要开始使用，您可以按照 PaddlePaddle 快速入门使用您喜欢的操作系统、包管理器和计算平台安装 PaddlePaddle 框架。

paddlenlp 通过 pip 提供一键安装

pip install -U paddlenlp

使用现有模型

类似于 transformer 模型，paddlenlp 库通过设置 from_hf_hub=True 提供了一行代码从 Hugging Face Hub 加载模型！根据您希望如何使用它们，您可以使用 Taskflow 函数的高级 API，或者使用 AutoModel 和 AutoTokenizer 获取更多控制权。

# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

如果您想查看如何加载特定模型，您可以点击 在 paddlenlp 中使用，您将获得一个可以用来加载它的工作代码片段！

分享您的模型

您可以使用所有 Model 和 Tokenizer 类中的 save_to_hf_hub 方法来分享您的 PaddleNLP 模型。

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

其他资源

< > 更新在 GitHub 上