Accelerate documentation

Macでの高速化されたPyTorchトレーニング

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Macでの高速化されたPyTorchトレーニング

PyTorch v1.12 のリリースにより、開発者や研究者は Apple silicon GPU を活用して、モデルの学習を大幅に高速化できるようになりました。 これにより、プロトタイピングやファインチューニングなどの機械学習ワークフローを、Mac 上でローカルに実行できるようになります。 PyTorch のバックエンドとして Apple の Metal Performance Shaders (MPS) を使用することでこれが可能になり、新しい "mps" デバイスを通じて利用できます。 これにより、計算グラフとプリミティブは MPS Graph フレームワークおよび MPS が提供するチューニング済みカーネルにマッピングされます。 詳細については、公式ドキュメント Introducing Accelerated PyTorch Training on Mac および MPS BACKEND を参照してください。

Apple Siliconチップを用いた学習と推論の利点

  1. ユーザーがローカルでより大きなネットワークやバッチサイズをトレーニングできるようにします
  2. 統一メモリアーキテクチャにより、データ取得のレイテンシを低減し、GPUがメモリ全体に直接アクセスできるようにします。 これにより、エンドツーエンドのパフォーマンスが向上します。
  3. クラウドベースの開発に関連するコスト、または追加のローカルGPUの必要性を削減します。

前提条件: mps 対応の torch をインストールするには、GPU-Acceleration Comes to PyTorch on M1 Macs という Medium の記事を参考にしてください。

デフォルトの動作

MPS 対応の Apple Silicon GPU を搭載した MacOs 環境では、デフォルトで有効になります。 無効にするには、accelerate launch コマンドに --cpu フラグを渡すか、accelerate config のアンケートに回答する際に該当する質問に答えてください。

MPS対応のApple Siliconマシンでテストするには、以下のスクリプトを直接実行できます:

accelerate launch /examples/cv_example.py --data_dir images

留意すべきいくつかの注意点

  1. 分散セットアップのglooおよびncclは、mpsデバイスでは動作しません。 つまり、現在、mpsデバイスタイプでは単一のGPUのみを使用できます。

最後に、AccelerateはMPSバックエンドのみを統合しているため、MPSバックエンドの使用に関する問題や質問がある場合は、PyTorch GitHubにissueを起票してください。

Update on GitHub