Accelerate documentation

Kelas Berstatus

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kelas Berstatus

Berikut adalah variasi dari kelas singleton dalam arti bahwa semua instans berbagi state yang sama, yang diinisialisasi pada instansiasi pertama.

Kelas-kelas ini bersifat tidak dapat diubah (immutable) dan menyimpan informasi tentang konfigurasi atau status tertentu.

PartialState

kelas accelerate.PartialState

< >

( cpu: bool = False**kwargs )

Parameter

  • cpu (bool, opsional) β€” Apakah akan memaksa skrip untuk dieksekusi di CPU. Jika disetel ke True, akselerator yang tersedia akan diabaikan dan eksekusi dipaksa dilakukan di CPU.
  • kwargs (argumen kata kunci tambahan, opsional) β€” Argumen kata kunci tambahan untuk diteruskan ke fungsi init_process_group yang relevan. kwargs yang valid dapat ditemukan di utils.InitProcessGroupKwargs. Lihat bagian contoh untuk penggunaan terperinci.

Kelas singleton yang memiliki informasi tentang lingkungan pelatihan saat ini dan fungsi untuk membantu kontrol proses. Dirancang untuk digunakan ketika hanya kontrol proses dan status eksekusi perangkat yang diperlukan. Tidak perlu diinisialisasi dari Accelerator.

Atribut yang tersedia:

  • device (torch.device) β€” Perangkat yang akan digunakan.
  • distributed_type (DistributedType) β€” Jenis lingkungan terdistribusi yang sedang digunakan.
  • local_process_index (int) β€” Indeks proses saat ini pada server saat ini.
  • mixed_precision (str) β€” Apakah skrip saat ini akan menggunakan presisi campuran, dan jika ya, jenis presisi campuran yang dilakukan. (Pilih dari β€˜no’,β€˜fp16’,β€˜bf16 atau β€˜fp8’).
  • num_processes (int) β€” Jumlah proses yang saat ini dijalankan secara paralel.
  • process_index (int) β€” Indeks dari proses saat ini.
  • is_last_process (bool) β€” Apakah proses saat ini merupakan proses terakhir atau tidak.
  • is_main_process (bool) β€” Apakah proses saat ini merupakan proses utama.
  • is_local_main_process (bool) β€” Apakah proses saat ini merupakan proses utama pada node lokal.
  • debug (bool) β€” Apakah skrip saat ini dijalankan dalam mode debug atau tidak.

Contoh:

from accelerate.utils import InitProcessGroupKwargs

# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)

destroy_process_group

< >

( group = None )

Menghancurkan grup proses. Jika tidak ada yang ditentukan, grup proses default akan dihancurkan.

local_main_process_first

< >

( )

Memungkinkan proses utama lokal untuk masuk ke dalam blok with.

Proses lain akan masuk ke dalam blok with setelah proses utama keluar.

Contoh:

>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> with state.local_main_process_first():
...     # This will be printed first by local process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {state.local_process_index}")

main_process_first

< >

( )

Membiarkan proses utama berjalan terlebih dahulu di dalam blok with.

Proses lain akan masuk ke dalam blok with setelah proses utama keluar.

Contoh:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
...     # This will be printed first by process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.process_index}")

on_last_process

< >

( function: Callable[..., Any] )

Parameter

  • function (Callable) β€” Fungsi yang akan dihias.

Decorator yang hanya menjalankan fungsi yang didekorasi pada proses terakhir.

Contoh:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_last_process
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 3"

on_local_main_process

< >

( function: Callable[..., Any] | None = None )

Parameter

  • function (Callable) β€” Fungsi yang akan dihias.

Decorator yang hanya menjalankan fungsi yang didekorasi pada proses utama lokal.

Contoh:

# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState

state = PartialState()


@state.on_local_main_process
def print_something():
    print("This will be printed by process 0 only on each server.")


print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"

on_local_process

< >

( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )

Parameter

  • function (Callable, opsional) β€” Fungsi yang akan didekorasi.
  • local_process_index (int, opsional) β€” Indeks proses lokal tempat fungsi dijalankan.

Decorator yang hanya menjalankan fungsi yang didekorasi pada proses dengan indeks yang diberikan di node saat ini.

Contoh:

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_process(local_process_index=2)
def print_something():
    print(f"Printed on process {accelerator.local_process_index}")


print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"

on_main_process

< >

( function: Callable[..., Any] | None = None )

Parameter

  • function (Callable) β€” Fungsi yang akan dihias.

Decorator yang hanya menjalankan fungsi yang didekorasi pada proses utama.

Contoh:

>>> from accelerate.state import PartialState

>>> state = PartialState()


>>> @state.on_main_process
... def print_something():
...     print("This will be printed by process 0 only.")


>>> print_something()
"This will be printed by process 0 only"

on_process

< >

( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )

Parameter

  • function (Callable, optional) β€” Fungsi yang akan didekorasi.
  • process_index (int, optional) β€” Indeks proses tempat fungsi dijalankan.

Decorator yang hanya menjalankan fungsi yang didekorasi pada proses dengan indeks yang diberikan.

Contoh:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_process(process_index=2)
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 2"

set_device

< >

( )

Menetapkan perangkat di self.device ke lingkungan terdistribusi saat ini.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

Parameter

  • inputs (list, tuple, torch.Tensor, dict dari list/tuple/torch.Tensor, atau datasets.Dataset) β€” Input yang akan dibagi di antara proses.
  • apply_padding (bool, optional, default False) β€” Apakah akan menerapkan padding dengan mengulang elemen terakhir dari input sehingga semua proses memiliki jumlah elemen yang sama. Berguna saat mencoba melakukan tindakan seperti gather() pada output atau saat memasukkan input yang lebih sedikit daripada jumlah proses. Jika demikian, ingatlah untuk membuang elemen yang di-pad setelahnya.

Memecah input di antara self.num_processes dengan cepat, yang kemudian dapat digunakan pada proses tersebut. Berguna saat melakukan inferensi terdistribusi, seperti dengan prompt yang berbeda.

Perhatikan bahwa saat menggunakan dict, semua kunci harus memiliki jumlah elemen yang sama.

Contoh:

# Assume there are two processes
from accelerate import PartialState

state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

wait_for_everyone

< >

( )

Akan menghentikan eksekusi proses saat ini hingga semua proses lain mencapai titik tersebut (sehingga ini tidak melakukan apa-apa ketika skrip hanya dijalankan dalam satu proses). Berguna untuk dilakukan sebelum menyimpan model.

Contoh:

>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> if state.is_main_process:
...     time.sleep(2)
>>> else:
...     print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")

AcceleratorState

kelas accelerate.state.AcceleratorState

< >

( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )

Kelas singleton yang memiliki informasi tentang lingkungan pelatihan saat ini.

Atribut yang tersedia:

  • device (torch.device) β€” Perangkat yang akan digunakan.
  • distributed_type (DistributedType) β€” Jenis lingkungan terdistribusi yang sedang digunakan.
  • parallelism_config (ParallelismConfig) β€” Konfigurasi paralelisme untuk lingkungan pelatihan saat ini. Ini digunakan untuk mengatur lingkungan pelatihan terdistribusi.
  • diinisialisasi (bool) β€” Apakah AcceleratorState telah diinisialisasi dari Accelerator atau belum.
  • local_process_index (int) β€” Indeks proses saat ini pada server saat ini.
  • mixed_precision (str) β€” Apakah skrip saat ini akan menggunakan presisi campuran, dan jika ya, jenis presisi campuran yang dilakukan. (Pilih dari β€˜no’,β€˜fp16’,β€˜bf16 atau β€˜fp8’).
  • num_processes (int) β€” Jumlah proses yang saat ini dijalankan secara paralel.
  • process_index (int) β€” Indeks dari proses saat ini.
  • is_last_process (bool) β€” Apakah proses saat ini merupakan proses terakhir atau tidak.
  • is_main_process (bool) β€” Apakah proses saat ini merupakan proses utama.
  • is_local_main_process (bool) β€” Apakah proses saat ini merupakan proses utama pada node lokal.
  • debug (bool) β€” Apakah skrip saat ini dijalankan dalam mode debug atau tidak.

destroy_process_group

< >

( group = None )

Menghancurkan grup proses. Jika tidak ada yang ditentukan, grup proses default akan dihancurkan.

Jika self.fork_launched bernilai True dan group bernilai None, tidak ada yang terjadi.

get_deepspeed_plugin

< >

( name: str )

Mengembalikan DeepSpeedPlugin dengan plugin_key yang diberikan.

local_main_process_first

< >

( )

Memungkinkan proses utama lokal untuk masuk ke dalam blok with.

Proses lain akan masuk ke dalam blok with setelah proses utama keluar.

main_process_first

< >

( )

Membiarkan proses utama berjalan terlebih dahulu di dalam blok with.

Proses lain akan masuk ke dalam blok with setelah proses utama keluar.

select_deepspeed_plugin

< >

( name: str | None = None )

Activates the DeepSpeedPlugin with the given name, and will disable all other plugins.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

Parameter

  • inputs (list, tuple, torch.Tensor, atau dict dari list/tuple/torch.Tensor) β€” Input yang akan dibagi di antara proses.
  • apply_padding (bool, optional, default False) β€” Apakah akan menerapkan padding dengan mengulang elemen terakhir dari input sehingga semua proses memiliki jumlah elemen yang sama. Berguna saat mencoba melakukan tindakan seperti gather() pada output atau saat memasukkan input yang lebih sedikit daripada jumlah proses. Jika demikian, ingatlah untuk membuang elemen yang di-pad setelahnya.

Memecah input di antara self.num_processes dengan cepat, yang kemudian dapat digunakan pada proses tersebut. Berguna saat melakukan inferensi terdistribusi, seperti dengan prompt yang berbeda.

Perhatikan bahwa saat menggunakan dict, semua kunci harus memiliki jumlah elemen yang sama.

Contoh:

# Assume there are two processes
from accelerate.state import AcceleratorState

state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

GradientState

kelas accelerate.state.GradientState

< >

( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )

Kelas singleton yang memiliki informasi terkait sinkronisasi gradien untuk akumulasi gradien

Atribut yang tersedia:

  • end_of_dataloader (bool) β€” Apakah kita telah mencapai akhir dataloader saat ini
  • remainder (int) β€” Jumlah sampel tambahan yang ditambahkan dari padding dataloader
  • sync_gradients (bool) β€” Apakah gradien harus disinkronkan di semua perangkat
  • active_dataloader (Optional[DataLoader]) β€” Dataloader yang sedang diiterasi saat ini
  • dataloader_references (List[Optional[DataLoader]]) β€” Daftar referensi ke dataloader yang sedang diiterasi
  • num_steps (int) β€” Jumlah langkah yang akan diakumulasi
  • adjust_scheduler (bool) β€” Apakah scheduler harus disesuaikan untuk memperhitungkan akumulasi gradien
  • sync_with_dataloader (bool) β€” Apakah gradien harus disinkronkan di akhir iterasi dataloader dan jumlah total langkah direset
  • is_xla_gradients_synced (bool) β€” Apakah gradien XLA telah disinkronkan. Nilai awalnya adalah false. Setelah gradien direduksi sebelum langkah optimizer, flag ini diatur ke true. Selanjutnya, setelah setiap langkah, flag ini direset ke false. FSDP akan selalu menyinkronkan gradien, sehingga is_xla_gradients_synced selalu bernilai true.
Update on GitHub