Apple 芯片

Apple 芯片（M 系列）具有统一内存架构，可以有效地在本地训练大型模型，并通过减少与数据检索相关的延迟来提高性能。由于 Apple 芯片与 Metal Performance Shaders (MPS) 的集成，您可以利用 Apple 芯片进行 PyTorch 训练。

mps 后端需要 macOS 12.3 或更高版本。

某些 PyTorch 操作尚未在 MPS 中实现。为避免错误，请设置环境变量 PYTORCH_ENABLE_MPS_FALLBACK=1 以回退到 CPU 内核。如果您遇到任何其他问题，请在 PyTorch 存储库中开启一个 issue。

TrainingArguments 和 Trainer 检测到 Apple 芯片设备可用时，会将后端设备设置为 mps。无需进行其他更改即可在您的设备上启用训练。

mps 后端不支持分布式训练。

资源

在Introducing Accelerated PyTorch Training on Mac博客文章中了解有关 MPS 后端的更多信息。