Accelerate documentation

Mekanisme internal Accelerate

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mekanisme internal Accelerate

Secara internal, Accelerate bekerja dengan terlebih dahulu menganalisis lingkungan tempat skrip diluncurkan untuk menentukan jenis setup distribusi yang digunakan, berapa banyak proses berbeda yang ada, dan proses mana yang sedang dijalankan oleh skrip saat ini. Semua informasi tersebut disimpan dalam ~AcceleratorState.

Kelas ini diinisialisasi untuk pertama kali saat Anda menginstansiasi ~Accelerator serta melakukan inisialisasi spesifik apa pun yang dibutuhkan oleh setup distribusi Anda. Statusnya kemudian dibagikan secara unik melalui semua instans AcceleratorState. (Hal yang sama juga dapat dilakukan dengan PartialState, versi yang lebih sederhana yang diwarisinya)

Lalu, saat memanggil prepare(), pustaka tersebut:

Meskipun model, optimizer, dan scheduler hanya dimasukkan ke dalam wrapper sederhana, dataloader dibuat ulang. Hal ini terutama karena PyTorch tidak memungkinkan pengguna mengubah batch_sampler dari sebuah dataloader setelah dataloader tersebut dibuat, dan pustaka ini menangani sharding data Anda antar proses dengan mengubah batch_sampler tersebut agar menghasilkan setiap num_processes batch lainnya (jika diaktifkan).

DataLoaderShard merupakan subkelas dari DataLoader untuk menambahkan fungsionalitas berikut:

  • it menyinkronkan generator angka acak yang sesuai dari semua proses pada setiap iterasi baru, untuk memastikan setiap randomisasi (seperti shuffling) dilakukan dengan cara yang persis sama di seluruh proses.
  • it menempatkan batch pada perangkat yang tepat sebelum menghasilkannya (kecuali Anda memilih untuk menonaktifkan device_placement=True).

Subkelas DataLoaderDispatcher berbeda dari DataLoaderShard dalam hal, saat melakukan iterasi pada DataLoader, data dimulai dari proses 0 dan kemudian dipecah serta dikirim ke setiap proses, bukan terjadi di level dataset.

Sinkronisasi generator angka acak secara default akan menyinkronkan:

  • atribut generator dari sampler tertentu (seperti RandomSampler PyTorch) untuk PyTorch >= 1.6
  • generator angka acak utama di PyTorch <=1.5.1

Anda dapat memilih generator angka acak mana yang akan disinkronkan dengan argumen rng_types dari Accelerator utama. Di PyTorch >= 1.6, disarankan untuk mengandalkan generator lokal untuk menghindari penyetelan seed yang sama pada generator angka acak utama di semua proses.

Sinkronisasi generator angka acak utama torch (atau CUDA atau XLA) akan memengaruhi artefak acak potensial lainnya yang mungkin ada dalam dataset Anda (seperti augmentasi data acak), dalam arti bahwa semua proses akan mendapatkan angka acak yang sama dari modul acak torch (sehingga akan menerapkan augmentasi data acak yang sama jika dikendalikan oleh torch).

Bagian randomisasi dari sampler kustom, batch sampler, atau dataset iterable Anda harus dilakukan menggunakan objek torch.Generator lokal (di PyTorch >= 1.6), lihat RandomSampler tradisional sebagai contoh.

Jika Anda telah menginstal torchdata>=0.8.0 dan telah meneruskan use_stateful_dataloader=True ke DataLoaderConfiguration Anda, kelas-kelas ini akan langsung mewarisi dari StatefulDataLoader sebagai gantinya, dan mempertahankan state_dict.

Untuk detail lebih lanjut tentang bagian internal, lihat halaman Internals.

Update on GitHub