Accelerate documentation
Mekanisme internal Accelerate
Mekanisme internal Accelerate
Secara internal, Accelerate bekerja dengan terlebih dahulu menganalisis lingkungan tempat skrip diluncurkan untuk menentukan jenis setup distribusi yang digunakan, berapa banyak proses berbeda yang ada, dan proses mana yang sedang dijalankan oleh skrip saat ini. Semua informasi tersebut disimpan dalam ~AcceleratorState.
Kelas ini diinisialisasi untuk pertama kali saat Anda menginstansiasi ~Accelerator serta melakukan inisialisasi spesifik apa pun yang dibutuhkan oleh setup distribusi Anda. Statusnya kemudian dibagikan secara unik melalui semua instans AcceleratorState. (Hal yang sama juga dapat dilakukan dengan PartialState, versi yang lebih sederhana yang diwarisinya)
Lalu, saat memanggil prepare(), pustaka tersebut:
- membungkus model Anda dalam kontainer yang disesuaikan untuk setup terdistribusi,
- membungkus optimizer Anda dalam AcceleratedOptimizer,
- membungkus scheduler Anda dalam AcceleratedScheduler
- membuat versi baru dari dataloader Anda dalam DataLoaderShard atau DataLoaderDispatcher
Meskipun model, optimizer, dan scheduler hanya dimasukkan ke dalam wrapper sederhana, dataloader dibuat ulang. Hal ini terutama karena PyTorch tidak memungkinkan pengguna mengubah batch_sampler dari sebuah dataloader setelah dataloader tersebut dibuat, dan pustaka ini menangani sharding data Anda antar proses dengan mengubah batch_sampler tersebut agar menghasilkan setiap num_processes batch lainnya (jika diaktifkan).
DataLoaderShard merupakan subkelas dari DataLoader untuk menambahkan fungsionalitas berikut:
- it menyinkronkan generator angka acak yang sesuai dari semua proses pada setiap iterasi baru, untuk memastikan setiap randomisasi (seperti shuffling) dilakukan dengan cara yang persis sama di seluruh proses.
- it menempatkan batch pada perangkat yang tepat sebelum menghasilkannya (kecuali Anda memilih untuk menonaktifkan
device_placement=True).
Subkelas DataLoaderDispatcher berbeda dari DataLoaderShard dalam hal, saat melakukan iterasi pada DataLoader, data dimulai dari proses 0 dan kemudian dipecah serta dikirim ke setiap proses, bukan terjadi di level dataset.
Sinkronisasi generator angka acak secara default akan menyinkronkan:
- atribut
generatordari sampler tertentu (sepertiRandomSamplerPyTorch) untuk PyTorch >= 1.6 - generator angka acak utama di PyTorch <=1.5.1
Anda dapat memilih generator angka acak mana yang akan disinkronkan dengan argumen rng_types dari Accelerator utama. Di PyTorch >= 1.6, disarankan untuk mengandalkan generator lokal untuk menghindari penyetelan seed yang sama pada generator angka acak utama di semua proses.
Sinkronisasi generator angka acak utama torch (atau CUDA atau XLA) akan memengaruhi artefak acak potensial lainnya yang mungkin ada dalam dataset Anda (seperti augmentasi data acak), dalam arti bahwa semua proses akan mendapatkan angka acak yang sama dari modul acak torch (sehingga akan menerapkan augmentasi data acak yang sama jika dikendalikan oleh torch).
Bagian randomisasi dari sampler kustom, batch sampler, atau dataset iterable Anda harus dilakukan menggunakan objek
torch.Generatorlokal (di PyTorch >= 1.6), lihatRandomSamplertradisional sebagai contoh.
Jika Anda telah menginstal torchdata>=0.8.0 dan telah meneruskan use_stateful_dataloader=True ke DataLoaderConfiguration Anda, kelas-kelas ini akan langsung mewarisi dari StatefulDataLoader sebagai gantinya, dan mempertahankan state_dict.
Untuk detail lebih lanjut tentang bagian internal, lihat halaman Internals.
Update on GitHub