Accelerate documentation
Kelas Berstatus
Kelas Berstatus
Berikut adalah variasi dari kelas singleton dalam arti bahwa semua instans berbagi state yang sama, yang diinisialisasi pada instansiasi pertama.
Kelas-kelas ini bersifat tidak dapat diubah (immutable) dan menyimpan informasi tentang konfigurasi atau status tertentu.
PartialState
kelas accelerate.PartialState
< source >( cpu: bool = False**kwargs )
Parameter
- cpu (
bool, opsional) β Apakah akan memaksa skrip untuk dieksekusi di CPU. Jika disetel keTrue, akselerator yang tersedia akan diabaikan dan eksekusi dipaksa dilakukan di CPU. - kwargs (argumen kata kunci tambahan, opsional) β
Argumen kata kunci tambahan untuk diteruskan ke fungsi
init_process_groupyang relevan.kwargsyang valid dapat ditemukan di utils.InitProcessGroupKwargs. Lihat bagian contoh untuk penggunaan terperinci.
Kelas singleton yang memiliki informasi tentang lingkungan pelatihan saat ini dan fungsi untuk membantu kontrol proses. Dirancang untuk digunakan ketika hanya kontrol proses dan status eksekusi perangkat yang diperlukan. Tidak perlu diinisialisasi dari Accelerator.
Atribut yang tersedia:
- device (
torch.device) β Perangkat yang akan digunakan. - distributed_type (DistributedType) β Jenis lingkungan terdistribusi yang sedang digunakan.
- local_process_index (
int) β Indeks proses saat ini pada server saat ini. - mixed_precision (
str) β Apakah skrip saat ini akan menggunakan presisi campuran, dan jika ya, jenis presisi campuran yang dilakukan. (Pilih dari βnoβ,βfp16β,βbf16 atau βfp8β). - num_processes (
int) β Jumlah proses yang saat ini dijalankan secara paralel. - process_index (
int) β Indeks dari proses saat ini. - is_last_process (
bool) β Apakah proses saat ini merupakan proses terakhir atau tidak. - is_main_process (
bool) β Apakah proses saat ini merupakan proses utama. - is_local_main_process (
bool) β Apakah proses saat ini merupakan proses utama pada node lokal. - debug (
bool) β Apakah skrip saat ini dijalankan dalam mode debug atau tidak.
Contoh:
from accelerate.utils import InitProcessGroupKwargs
# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)Menghancurkan grup proses. Jika tidak ada yang ditentukan, grup proses default akan dihancurkan.
Memungkinkan proses utama lokal untuk masuk ke dalam blok with.
Proses lain akan masuk ke dalam blok with setelah proses utama keluar.
Contoh:
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> with state.local_main_process_first():
... # This will be printed first by local process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {state.local_process_index}")Membiarkan proses utama berjalan terlebih dahulu di dalam blok with.
Proses lain akan masuk ke dalam blok with setelah proses utama keluar.
Contoh:
>>> from accelerate import Accelerator
>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
... # This will be printed first by process 0 then in a seemingly
... # random order by the other processes.
... print(f"This will be printed by process {accelerator.process_index}")on_last_process
< source >( function: Callable[..., Any] )
Decorator yang hanya menjalankan fungsi yang didekorasi pada proses terakhir.
on_local_main_process
< source >( function: Callable[..., Any] | None = None )
Decorator yang hanya menjalankan fungsi yang didekorasi pada proses utama lokal.
Contoh:
# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState
state = PartialState()
@state.on_local_main_process
def print_something():
print("This will be printed by process 0 only on each server.")
print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"on_local_process
< source >( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )
Decorator yang hanya menjalankan fungsi yang didekorasi pada proses dengan indeks yang diberikan di node saat ini.
Contoh:
# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator
accelerator = Accelerator()
@accelerator.on_local_process(local_process_index=2)
def print_something():
print(f"Printed on process {accelerator.local_process_index}")
print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"on_main_process
< source >( function: Callable[..., Any] | None = None )
Decorator yang hanya menjalankan fungsi yang didekorasi pada proses utama.
on_process
< source >( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )
Decorator yang hanya menjalankan fungsi yang didekorasi pada proses dengan indeks yang diberikan.
Menetapkan perangkat di self.device ke lingkungan terdistribusi saat ini.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parameter
- inputs (
list,tuple,torch.Tensor,dictdarilist/tuple/torch.Tensor, ataudatasets.Dataset) β Input yang akan dibagi di antara proses. - apply_padding (
bool,optional, defaultFalse) β Apakah akan menerapkan padding dengan mengulang elemen terakhir dari input sehingga semua proses memiliki jumlah elemen yang sama. Berguna saat mencoba melakukan tindakan sepertigather()pada output atau saat memasukkan input yang lebih sedikit daripada jumlah proses. Jika demikian, ingatlah untuk membuang elemen yang di-pad setelahnya.
Memecah input di antara self.num_processes dengan cepat, yang kemudian dapat digunakan pada proses tersebut. Berguna saat melakukan inferensi terdistribusi, seperti dengan prompt yang berbeda.
Perhatikan bahwa saat menggunakan dict, semua kunci harus memiliki jumlah elemen yang sama.
Contoh:
# Assume there are two processes
from accelerate import PartialState
state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]Akan menghentikan eksekusi proses saat ini hingga semua proses lain mencapai titik tersebut (sehingga ini tidak melakukan apa-apa ketika skrip hanya dijalankan dalam satu proses). Berguna untuk dilakukan sebelum menyimpan model.
Contoh:
>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState
>>> state = PartialState()
>>> if state.is_main_process:
... time.sleep(2)
>>> else:
... print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")AcceleratorState
kelas accelerate.state.AcceleratorState
< source >( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )
Kelas singleton yang memiliki informasi tentang lingkungan pelatihan saat ini.
Atribut yang tersedia:
- device (
torch.device) β Perangkat yang akan digunakan. - distributed_type (DistributedType) β Jenis lingkungan terdistribusi yang sedang digunakan.
- parallelism_config (
ParallelismConfig) β Konfigurasi paralelisme untuk lingkungan pelatihan saat ini. Ini digunakan untuk mengatur lingkungan pelatihan terdistribusi. - diinisialisasi (
bool) β ApakahAcceleratorStatetelah diinisialisasi dariAcceleratoratau belum. - local_process_index (
int) β Indeks proses saat ini pada server saat ini. - mixed_precision (
str) β Apakah skrip saat ini akan menggunakan presisi campuran, dan jika ya, jenis presisi campuran yang dilakukan. (Pilih dari βnoβ,βfp16β,βbf16 atau βfp8β). - num_processes (
int) β Jumlah proses yang saat ini dijalankan secara paralel. - process_index (
int) β Indeks dari proses saat ini. - is_last_process (
bool) β Apakah proses saat ini merupakan proses terakhir atau tidak. - is_main_process (
bool) β Apakah proses saat ini merupakan proses utama. - is_local_main_process (
bool) β Apakah proses saat ini merupakan proses utama pada node lokal. - debug (
bool) β Apakah skrip saat ini dijalankan dalam mode debug atau tidak.
Menghancurkan grup proses. Jika tidak ada yang ditentukan, grup proses default akan dihancurkan.
Jika self.fork_launched bernilai True dan group bernilai None, tidak ada yang terjadi.
Mengembalikan DeepSpeedPlugin dengan plugin_key yang diberikan.
Memungkinkan proses utama lokal untuk masuk ke dalam blok with.
Proses lain akan masuk ke dalam blok with setelah proses utama keluar.
Membiarkan proses utama berjalan terlebih dahulu di dalam blok with.
Proses lain akan masuk ke dalam blok with setelah proses utama keluar.
Activates the DeepSpeedPlugin with the given name, and will disable all other plugins.
split_between_processes
< source >( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )
Parameter
- inputs (
list,tuple,torch.Tensor, ataudictdarilist/tuple/torch.Tensor) β Input yang akan dibagi di antara proses. - apply_padding (
bool,optional, defaultFalse) β Apakah akan menerapkan padding dengan mengulang elemen terakhir dari input sehingga semua proses memiliki jumlah elemen yang sama. Berguna saat mencoba melakukan tindakan sepertigather()pada output atau saat memasukkan input yang lebih sedikit daripada jumlah proses. Jika demikian, ingatlah untuk membuang elemen yang di-pad setelahnya.
Memecah input di antara self.num_processes dengan cepat, yang kemudian dapat digunakan pada proses tersebut. Berguna saat melakukan inferensi terdistribusi, seperti dengan prompt yang berbeda.
Perhatikan bahwa saat menggunakan dict, semua kunci harus memiliki jumlah elemen yang sama.
Contoh:
# Assume there are two processes
from accelerate.state import AcceleratorState
state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]
with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]GradientState
kelas accelerate.state.GradientState
< source >( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )
Kelas singleton yang memiliki informasi terkait sinkronisasi gradien untuk akumulasi gradien
Atribut yang tersedia:
- end_of_dataloader (
bool) β Apakah kita telah mencapai akhir dataloader saat ini - remainder (
int) β Jumlah sampel tambahan yang ditambahkan dari padding dataloader - sync_gradients (
bool) β Apakah gradien harus disinkronkan di semua perangkat - active_dataloader (
Optional[DataLoader]) β Dataloader yang sedang diiterasi saat ini - dataloader_references (
List[Optional[DataLoader]]) β Daftar referensi ke dataloader yang sedang diiterasi - num_steps (
int) β Jumlah langkah yang akan diakumulasi - adjust_scheduler (
bool) β Apakah scheduler harus disesuaikan untuk memperhitungkan akumulasi gradien - sync_with_dataloader (
bool) β Apakah gradien harus disinkronkan di akhir iterasi dataloader dan jumlah total langkah direset - is_xla_gradients_synced (
bool) β Apakah gradien XLA telah disinkronkan. Nilai awalnya adalah false. Setelah gradien direduksi sebelum langkah optimizer, flag ini diatur ke true. Selanjutnya, setelah setiap langkah, flag ini direset ke false. FSDP akan selalu menyinkronkan gradien, sehingga is_xla_gradients_synced selalu bernilai true.