概述

🤗 Optimum 提供了一个名为 BetterTransformer 的 API，它是一个标准 PyTorch Transformer API 的快速路径，通过稀疏性和融合内核（如 Flash Attention）来利用有趣的加速效果，从而在 CPU 和 GPU 上获得性能提升。目前，BetterTransformer 支持来自原生 nn.TransformerEncoderLayer 的快速路径，以及来自 torch.nn.functional.scaled_dot_product_attention 的 Flash Attention 和内存高效注意力。

快速入门

从 1.13 版本开始，PyTorch 发布了其标准 Transformer API 的快速路径的稳定版本，该版本为基于 Transformer 的模型提供了开箱即用的性能改进。您可以在大多数消费级设备上获得有趣的加速效果，包括 CPU、较旧和较新的 NVIDIA GPU 版本。您现在可以在 🤗 Optimum 与 Transformers 一起使用此功能，并将其用于 Hugging Face 生态系统中的主要模型。

在 2.0 版本中，PyTorch 将一个原生的缩放点积注意力运算符 (SDPA) 作为 torch.nn.functional 的一部分包含进来。此函数包含可根据输入和使用的硬件应用的几种实现。请参阅 官方文档 以获取更多信息，以及 这篇博文 以了解基准测试。

我们在 🤗 Optimum 中开箱即用地提供了与这些优化的集成，以便您可以转换任何受支持的 🤗 Transformers 模型，以便在相关时使用优化的路径和 scaled_dot_product_attention 函数。

支持的模型

以下是支持的模型列表

• AlBERT
• Bark
• BART
• BERT
• BERT-generation
• BLIP-2
• BLOOM
• CamemBERT
• CLIP
• CodeGen
• Data2VecText
• DistilBert
• DeiT
• Electra
• Ernie
• Falcon（无需使用 BetterTransformer，它已 直接受 Transformers 支持）
• FSMT
• GPT2
• GPT-j
• GPT-neo
• GPT-neo-x
• GPT BigCode（SantaCoder、StarCoder - 无需使用 BetterTransformer，它已 直接受 Transformers 支持）
• HuBERT
• LayoutLM
• Llama & Llama2（无需使用 BetterTransformer，它已 直接受 Transformers 支持）
• MarkupLM
• Marian
• MBart
• M2M100
• OPT
• ProphetNet
• RemBERT
• RoBERTa
• RoCBert
• RoFormer
• Splinter
• Tapas
• ViLT
• ViT
• ViT-MAE
• ViT-MSN
• Wav2Vec2
• Whisper（无需使用 BetterTransformer，它已 直接受 Transformers 支持）
• XLMRoberta
• YOLOS

如果您希望支持更多模型，请在 🤗 Optimum 中打开一个问题，或者如果您想自己添加，请查看 贡献指南！

快速使用

为了使用 BetterTransformer API，只需运行以下命令

>>> from transformers import AutoModelForSequenceClassification
>>> from optimum.bettertransformer import BetterTransformer
>>> model_hf = AutoModelForSequenceClassification.from_pretrained("bert-base-cased")
>>> model = BetterTransformer.transform(model_hf, keep_original_model=True)

如果您想用其 BetterTransformer 版本覆盖当前模型，可以保留 keep_original_model=False。

有关 教程 部分的更多详细信息，以深入了解如何使用它，或者查看 Google Colab 演示！