NLP 课程文档

简介

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

入门

简介

欢迎来到 Hugging Face 课程!本简介将指导您设置工作环境。如果您是课程新手,建议您先查看 第一章,然后回来设置您的环境,以便您自己尝试代码。

本课程中将使用到的所有库都以 Python 包的形式提供,因此这里我们将向您展示如何设置 Python 环境并安装所需的特定库。

我们将介绍两种设置工作环境的方法:使用 Colab 笔记本或 Python 虚拟环境。您可以随意选择最适合您的方法。对于初学者,我们强烈建议您从使用 Colab 笔记本开始。

请注意,我们将不介绍 Windows 系统。如果您使用的是 Windows,建议您使用 Colab 笔记本进行学习。如果您使用的是 Linux 发行版或 macOS,则可以使用此处介绍的任何一种方法。

本课程的大部分内容需要您拥有 Hugging Face 帐户。建议您现在创建一个:创建帐户

使用 Google Colab 笔记本

使用 Colab 笔记本是最简单的设置方法;在浏览器中启动一个笔记本,就可以直接开始编码了!

如果您不熟悉 Colab,建议您先阅读 简介。Colab 允许您使用一些加速硬件,例如 GPU 或 TPU,对于小型工作负载它是免费的。

一旦您习惯了 Colab 的操作,就可以创建一个新的笔记本并开始设置。

An empty colab notebook

下一步是安装本课程中将使用到的库。我们将使用 pip 进行安装,它是 Python 的包管理器。在笔记本中,您可以通过在系统命令前加 ! 字符来运行系统命令,因此您可以按如下方式安装 🤗 Transformers 库:

!pip install transformers

您可以通过在 Python 运行时中导入它来确保包已正确安装

import transformers
A gif showing the result of the two commands above: installation and import

这将安装一个非常轻量级的 🤗 Transformers 版本。特别是,没有安装任何特定的机器学习框架(例如 PyTorch 或 TensorFlow)。由于我们将使用该库的许多不同功能,因此建议您安装开发版本,它包含几乎任何可想而知的用例所需的全部依赖项

!pip install transformers[sentencepiece]

这将花费一些时间,但之后您就可以准备好继续学习课程了!

使用 Python 虚拟环境

如果您更喜欢使用 Python 虚拟环境,第一步是在您的系统上安装 Python。建议您按照 本指南进行操作。

安装完 Python 后,您应该能够在终端中运行 Python 命令。您可以首先运行以下命令以确保它已正确安装,然后再进行下一步操作:python --version。这将打印出您系统上当前可用的 Python 版本。

在终端中运行 Python 命令时,例如 python --version,您应该将运行命令的程序视为您系统上的“主” Python。建议您将此主安装保持没有包,并使用它为每个您使用的应用程序创建单独的环境,这样每个应用程序都可以有自己的依赖项和包,您也不需要担心与其他应用程序的潜在兼容性问题。

在 Python 中,这是通过 虚拟环境 来完成的,它是一个自包含的目录树,每个目录树都包含一个 Python 安装程序(具有特定的 Python 版本)以及应用程序所需的所有包。可以使用许多不同的工具来创建此类虚拟环境,但我们将使用官方 Python 包来完成此操作,该包称为 venv

首先,创建您希望应用程序所在的目录,例如,您可能希望在主目录的根目录下创建一个名为 transformers-course 的新目录

mkdir ~/transformers-course
cd ~/transformers-course

在此目录内,使用 Python venv 模块创建虚拟环境

python -m venv .env

您现在应该在原本空的文件夹中看到一个名为 .env 的目录

ls -a
.      ..    .env

您可以使用 activatedeactivate 脚本进出虚拟环境

# Activate the virtual environment
source .env/bin/activate

# Deactivate the virtual environment
source .env/bin/deactivate

您可以通过运行 which python 命令来确保环境已激活:如果它指向虚拟环境,则表明您已成功激活了它!

which python
/home/<user>/transformers-course/.env/bin/python

安装依赖项

与上一节关于使用 Google Colab 实例的内容类似,您现在需要安装继续学习所需的包。同样,您可以使用 pip 包管理器安装 🤗 Transformers 的开发版本

pip install "transformers[sentencepiece]"

现在,您已完成设置,可以开始学习了!