Accelerate documentation

التحقق من النقاط

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

التحقق من النقاط

عند تدريب نموذج PyTorch باستخدام Accelerate، قد ترغب غالبًا في حفظ حالة التدريب والمتابعة منها. ويتطلب ذلك حفظ النموذج ومُحسِّن التدريب ومولّدات الأرقام العشوائية (RNG) ومقيّم التدرّج (GradScaler) وتحميلها. وتحتوي Accelerate على دالتين ميسّرتين لتحقيق ذلك بسرعة:

  • استخدم save_state() لحفظ كل ما ذُكر أعلاه في موقع مجلد
  • استخدم load_state() لتحميل كل ما تم تخزينه من save_state سابقًا

لتخصيص مكان وحالة حفظ الحالات بشكل أكبر من خلال save_state() يمكن استخدام فئة ProjectConfiguration. على سبيل المثال، إذا كان automatic_checkpoint_naming مفعلاً، فسيتم تحديد كل نقطة تحقق محفوظة في Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.

يجب الإشارة إلى أن التوقع هو أن تأتي تلك الحالات من نفس سكربت التدريب، فلا ينبغي أن تكون من سكربتَين منفصلين.

  • باستخدام register_for_checkpointing()، يمكنك تسجيل كائنات مخصصة ليتم حفظها أو تحميلها تلقائيًا من الدالتين السابقتين، ما دام أن الكائن يحتوي على وظيفة state_dict و وظيفة load_state_dict. وقد تشمل هذه الكائنات، على سبيل المثال، مجدول معدل التعلم.

فيما يلي مثال موجز باستخدام نقطة التفتيش لحفظ حالة أثناء التدريب وإعادة تحميلها:

from accelerate import Accelerator
import torch

accelerator = Accelerator(project_dir="my/save/path")

my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)

# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)

# Save the starting state
accelerator.save_state()

device = accelerator.device
my_model.to(device)

# Perform training
for epoch in range(num_epochs):
    for batch in my_training_dataloader:
        my_optimizer.zero_grad()
        inputs, targets = batch
        inputs = inputs.to(device)
        targets = targets.to(device)
        outputs = my_model(inputs)
        loss = my_loss_function(outputs, targets)
        accelerator.backward(loss)
        my_optimizer.step()
    my_scheduler.step()

# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")

استعادة حالة DataLoader

بعد الاستئناف من نقطة تفتيش، قد يكون من المرغوب أيضاً الاستئناف من نقطة محددة في DataLoader النشط إذا تم حفظ الحالة في منتصف حقبة. يمكنك استخدام skip_first_batches() للقيام بذلك.

from accelerate import Accelerator

accelerator = Accelerator(project_dir="my/save/path")

train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")

# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)

# After the first iteration, go back to `train_dataloader`

# First epoch
for batch in skipped_dataloader:
    # Do something
    pass

# Second epoch
for batch in train_dataloader:
    # Do something
    pass
Update on GitHub