Optimum 文档

安装

您正在查看的是需要从源码安装。如果您想通过 pip 常规安装,请查看最新的稳定版本 (v1.27.0)。
Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

安装

🤗 Optimum 可以通过 pip 安装,如下所示:

python -m pip install optimum

如果您想使用 🤗 Optimum 的特定加速器功能,可以根据下表安装所需的依赖项:

加速器 安装
ONNX Runtime pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]
英特尔神经压缩器 (Intel Neural Compressor) pip install --upgrade --upgrade-strategy eager optimum[neural-compressor]
OpenVINO pip install --upgrade --upgrade-strategy eager optimum[openvino]
IPEX pip install --upgrade --upgrade-strategy eager optimum[ipex]
NVIDIA TensorRT-LLM docker run -it --gpus all --ipc host huggingface/optimum-nvidia
AMD Instinct GPU 和 Ryzen AI NPU pip install --upgrade --upgrade-strategy eager optimum[amd]
AWS Trainum & Inferentia pip install --upgrade --upgrade-strategy eager optimum[neuronx]
Habana Gaudi 处理器 (HPU) pip install --upgrade --upgrade-strategy eager optimum[habana]
FuriosaAI pip install --upgrade --upgrade-strategy eager optimum[furiosa]

需要使用 --upgrade --upgrade-strategy eager 选项来确保不同的包都升级到最新的可用版本。

如果您想体验示例或需要最新的代码而等不及新版本的发布,您可以从源代码安装基础库,如下所示:

python -m pip install git+https://github.com/huggingface/optimum.git

对于特定加速器的功能,您可以在 pip 命令后附加 optimum[accelerator_type] 来安装它们,例如:

python -m pip install optimum[onnxruntime]@git+https://github.com/huggingface/optimum.git
< > 在 GitHub 上更新