加速

🤗 加速是一个库，它使相同的 PyTorch 代码能够通过添加四行代码在任何分布式配置中运行！简而言之，大规模训练和推理变得简单、高效且适应性强。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

基于 torch_xla 和 torch.distributed，🤗 加速处理繁重的工作，因此您无需编写任何自定义代码来适应这些平台。转换现有的代码库以利用 DeepSpeed，执行完全分片数据并行，并自动支持混合精度训练！

要更好地了解此过程，请务必查看教程！

然后可以通过加速的 CLI 界面在任何系统上启动此代码

accelerate launch {my_script.py}

教程

了解基础知识并熟悉使用 🤗 加速。如果您是第一次使用 🤗 加速，请从这里开始！

操作指南

帮助您实现特定目标的实用指南。查看这些指南，了解如何使用 🤗 加速来解决现实世界中的问题。

概念指南

构建对重要主题的更好理解的高级解释，例如避免分布式训练和 DeepSpeed 中的微妙细微差别和陷阱。

参考

对 🤗 加速类和方法的工作原理进行技术描述。

< > 更新在 GitHub 上