LLM 课程文档
引言
并获得增强的文档体验
开始使用
简介
欢迎来到 Hugging Face 课程!本简介将指导您完成工作环境的设置。如果您刚开始学习本课程,我们建议您先阅读第 1 章,然后再回来设置您的环境,以便您可以亲自尝试代码。
我们在本课程中将要使用的所有库都可以作为 Python 包使用,因此在这里我们将向您展示如何设置 Python 环境并安装您需要的特定库。
我们将介绍两种设置工作环境的方法,使用 Colab notebook 或 Python 虚拟环境。请随意选择最适合您的方式。对于初学者,我们强烈建议您从使用 Colab notebook 开始。
请注意,我们将不涉及 Windows 系统。如果您在 Windows 上运行,我们建议您使用 Colab notebook 继续学习。如果您使用的是 Linux 发行版或 macOS,您可以使用此处描述的任何一种方法。
本课程的大部分内容都依赖于您拥有一个 Hugging Face 帐户。我们建议您现在创建一个:创建一个帐户。
使用 Google Colab notebook
使用 Colab notebook 是最简单的设置;在浏览器中启动一个 notebook,然后直接开始编码!
如果您不熟悉 Colab,我们建议您先阅读介绍。Colab 允许您使用一些加速硬件,如 GPU 或 TPU,并且对于较小的工作负载是免费的。
一旦您习惯了在 Colab 中操作,就可以创建一个新的 notebook 并开始设置了

下一步是安装我们将在本课程中使用的库。我们将使用 pip
进行安装,它是 Python 的包管理器。在 notebook 中,您可以通过在系统命令前加上 !
字符来运行它们,因此您可以按如下方式安装 🤗 Transformers 库
!pip install transformers
您可以通过在 Python 运行时导入它来确保该包已正确安装
import transformers

这将安装一个非常轻量级的 🤗 Transformers 版本。特别是,没有安装特定的机器学习框架(如 PyTorch 或 TensorFlow)。由于我们将使用该库的许多不同功能,我们建议安装开发版本,它附带了几乎任何可以想象的用例所需的所有依赖项
!pip install transformers[sentencepiece]
这会花费一些时间,但之后您就可以为课程的其余部分做好准备了!
使用 Python 虚拟环境
如果您更喜欢使用 Python 虚拟环境,第一步是在您的系统上安装 Python。我们建议您按照本指南开始。
一旦您安装了 Python,您应该能够在终端中运行 Python 命令。您可以先运行以下命令以确保它已正确安装,然后再继续下一步:python --version
。这应该会打印出您系统上现在可用的 Python 版本。
在终端中运行 Python 命令时,例如 python --version
,您应该将运行命令的程序视为系统上的“主” Python。我们建议保持此主安装没有任何包,并使用它为您工作的每个应用程序创建独立的环境——这样,每个应用程序都可以有自己的依赖项和包,您就不需要担心与其他应用程序的潜在兼容性问题。
在 Python 中,这是通过虚拟环境完成的,它们是独立的目录树,每个目录树都包含一个具有特定 Python 版本的 Python 安装以及应用程序需要的所有包。创建这样的虚拟环境可以使用多种不同的工具,但我们将使用官方的 Python 包,它叫做 venv
。
首先,创建您希望应用程序所在的目录——例如,您可能想在主目录的根目录下创建一个名为 transformers-course 的新目录
mkdir ~/transformers-course
cd ~/transformers-course
在此目录中,使用 Python venv
模块创建一个虚拟环境
python -m venv .env
您现在应该在原本为空的文件夹中有一个名为 .env 的目录
ls -a
. .. .env
您可以使用 activate
和 deactivate
脚本进入和退出虚拟环境
# Activate the virtual environment
source .env/bin/activate
# Deactivate the virtual environment
deactivate
您可以通过运行 which python
命令来确保环境已激活:如果它指向虚拟环境,那么您已经成功激活了它!
which python
/home/<user>/transformers-course/.env/bin/python
安装依赖项
与上一节使用 Google Colab 实例一样,您现在需要安装继续所需的包。同样,您可以使用 pip
包管理器安装 🤗 Transformers 的开发版本
pip install "transformers[sentencepiece]"
现在您已经全部设置好了,准备开始吧!
< > 在 GitHub 上更新