Apple 芯片

Apple 芯片 (M 系列) 采用统一内存架构，可以高效地在本地训练大型模型，并通过减少与数据检索相关的延迟来提高性能。由于 PyTorch 与 Metal Performance Shaders (MPS) 的集成，您可以利用 Apple 芯片进行训练。

mps 后端需要 macOS 12.3 或更高版本。

某些 PyTorch 操作尚未在 MPS 中实现。为避免错误，请设置环境变量 PYTORCH_ENABLE_MPS_FALLBACK=1 以回退到 CPU 内核。如果您遇到任何其他问题，请在 PyTorch 仓库中提出问题。

TrainingArguments 和 Trainer 如果检测到 Apple 芯片设备可用，则会自动将后端设备设置为 mps。无需额外更改即可在您的设备上启用训练。

mps 后端不支持分布式训练。

资源

在《在 Mac 上引入加速 PyTorch 训练》这篇博客文章中了解更多关于 MPS 后端的信息。