Accelerate documentation
Macでの高速化されたPyTorchトレーニング
Macでの高速化されたPyTorchトレーニング
PyTorch v1.12 のリリースにより、開発者や研究者は Apple silicon GPU を活用して、モデルの学習を大幅に高速化できるようになりました。
これにより、プロトタイピングやファインチューニングなどの機械学習ワークフローを、Mac 上でローカルに実行できるようになります。
PyTorch のバックエンドとして Apple の Metal Performance Shaders (MPS) を使用することでこれが可能になり、新しい "mps" デバイスを通じて利用できます。
これにより、計算グラフとプリミティブは MPS Graph フレームワークおよび MPS が提供するチューニング済みカーネルにマッピングされます。
詳細については、公式ドキュメント Introducing Accelerated PyTorch Training on Mac および MPS BACKEND を参照してください。
Apple Siliconチップを用いた学習と推論の利点
- ユーザーがローカルでより大きなネットワークやバッチサイズをトレーニングできるようにします
- 統一メモリアーキテクチャにより、データ取得のレイテンシを低減し、GPUがメモリ全体に直接アクセスできるようにします。 これにより、エンドツーエンドのパフォーマンスが向上します。
- クラウドベースの開発に関連するコスト、または追加のローカルGPUの必要性を削減します。
前提条件: mps 対応の torch をインストールするには、GPU-Acceleration Comes to PyTorch on M1 Macs という Medium の記事を参考にしてください。
デフォルトの動作
MPS 対応の Apple Silicon GPU を搭載した MacOs 環境では、デフォルトで有効になります。
無効にするには、accelerate launch コマンドに --cpu フラグを渡すか、accelerate config のアンケートに回答する際に該当する質問に答えてください。
MPS対応のApple Siliconマシンでテストするには、以下のスクリプトを直接実行できます:
accelerate launch /examples/cv_example.py --data_dir images
留意すべきいくつかの注意点
- 分散セットアップの
glooおよびncclは、mpsデバイスでは動作しません。 つまり、現在、mpsデバイスタイプでは単一のGPUのみを使用できます。
最後に、AccelerateはMPSバックエンドのみを統合しているため、MPSバックエンドの使用に関する問題や質問がある場合は、PyTorch GitHubにissueを起票してください。