Hugging Face 与 AMD 合作，加速 CPU 和 GPU 平台上的最先进模型
无论是语言模型、大型语言模型还是基础模型，Transformer 模型在预训练、微调和推理方面都需要大量的计算。为了帮助开发者和组织充分利用其基础设施的性能，Hugging Face 长期以来一直与硬件公司合作，以利用其各自芯片中存在的加速功能。
今天，我们很高兴地宣布 AMD 已正式加入我们的 硬件合作伙伴计划。我们的首席执行官 Clement Delangue 在 AMD 于旧金山举行的 数据中心和 AI 技术首映会 上发表了主题演讲，启动了这一激动人心的新合作。
AMD 和 Hugging Face 携手合作，在 AMD CPU 和 GPU 上提供最先进的 Transformer 性能。对于广大的 Hugging Face 社区来说，这项合作是一个极好的消息，他们很快将受益于最新的 AMD 平台进行训练和推理。
多年来，深度学习硬件的选择一直有限，而价格和供应日益成为人们关注的问题。这项新合作不仅能与竞争对手匹敌，还有助于缓解市场动态：它还将设定新的成本性能标准。
支持的硬件平台
在 GPU 方面，AMD 和 Hugging Face 将首先在企业级 Instinct MI2xx 和 MI3xx 系列上进行合作，然后是客户级 Radeon Navi3x 系列。在初步测试中，AMD 最近报告 MI250 训练 BERT-Large 比其直接竞争对手快 1.2 倍，训练 GPT2-Large 快 1.4 倍。
在 CPU 方面，两家公司将致力于优化客户端 Ryzen 和服务器 EPYC CPU 的推理性能。正如之前几篇文章所讨论的，CPU 对于 Transformer 推理来说是一个极好的选择，尤其是在使用量化等模型压缩技术时。
最后，此次合作还将包括 Alveo V70 AI 加速器，该加速器能够以更低的功耗提供令人难以置信的性能。
支持的模型架构和框架
我们打算支持用于自然语言处理、计算机视觉和语音的最先进的 Transformer 架构，例如 BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP 和 Wav2Vec2。当然，生成式 AI 模型也将可用（例如 GPT2、GPT-NeoX、T5、OPT、LLaMA），包括我们自己的 BLOOM 和 StarCoder 模型。最后，我们还将支持更传统的计算机视觉模型，如 ResNet 和 ResNext，以及深度学习推荐模型，这对于我们来说是第一次。
我们将尽最大努力在上述平台上测试和验证这些模型，适用于 PyTorch、TensorFlow 和 ONNX Runtime。请记住，并非所有模型都适用于所有框架或所有硬件平台的训练和推理。
未来展望
我们最初的重点将是确保对我们社区最重要的模型在 AMD 平台上开箱即用。我们将与 AMD 工程团队密切合作，优化关键模型，以便利用最新的 AMD 硬件和软件功能提供最佳性能。我们将把 AMD ROCm SDK 无缝集成到我们的开源库中，从 transformers 库开始。
在此过程中，我们无疑将发现进一步优化训练和推理的机会，我们将与 AMD 密切合作，找出通过此次合作在何处进行最佳投资。我们预计这项工作将导致一个专门用于 AMD 平台的新 Optimum 库，以帮助 Hugging Face 用户以最少的代码更改（如果有的话）来利用它们。
结论
我们很高兴能与 AMD 这样的世界级硬件公司合作。开源意味着可以自由地构建各种软件和硬件解决方案。得益于此次合作，Hugging Face 用户很快将拥有新的硬件平台，用于训练和推理，并享有出色的成本性能优势。在此期间，欢迎访问 Hugging Face 中心上的 AMD 页面。敬请期待！
本帖 100% 未使用 ChatGPT。
