Accelerate documentation
التحقق من النقاط
التحقق من النقاط
عند تدريب نموذج PyTorch باستخدام Accelerate، قد ترغب غالبًا في حفظ حالة التدريب والمتابعة منها. ويتطلب ذلك حفظ النموذج ومُحسِّن التدريب ومولّدات الأرقام العشوائية (RNG) ومقيّم التدرّج (GradScaler) وتحميلها. وتحتوي Accelerate على دالتين ميسّرتين لتحقيق ذلك بسرعة:
- استخدم save_state() لحفظ كل ما ذُكر أعلاه في موقع مجلد
- استخدم load_state() لتحميل كل ما تم تخزينه من
save_stateسابقًا
لتخصيص مكان وحالة حفظ الحالات بشكل أكبر من خلال save_state() يمكن استخدام فئة ProjectConfiguration. على سبيل المثال، إذا كان automatic_checkpoint_naming مفعلاً، فسيتم تحديد كل نقطة تحقق محفوظة في Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.
يجب الإشارة إلى أن التوقع هو أن تأتي تلك الحالات من نفس سكربت التدريب، فلا ينبغي أن تكون من سكربتَين منفصلين.
- باستخدام register_for_checkpointing()، يمكنك تسجيل كائنات مخصصة ليتم حفظها أو تحميلها تلقائيًا من الدالتين السابقتين، ما دام أن الكائن يحتوي على وظيفة
state_dictو وظيفةload_state_dict. وقد تشمل هذه الكائنات، على سبيل المثال، مجدول معدل التعلم.
فيما يلي مثال موجز باستخدام نقطة التفتيش لحفظ حالة أثناء التدريب وإعادة تحميلها:
from accelerate import Accelerator
import torch
accelerator = Accelerator(project_dir="my/save/path")
my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)
# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)
# Save the starting state
accelerator.save_state()
device = accelerator.device
my_model.to(device)
# Perform training
for epoch in range(num_epochs):
for batch in my_training_dataloader:
my_optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = my_model(inputs)
loss = my_loss_function(outputs, targets)
accelerator.backward(loss)
my_optimizer.step()
my_scheduler.step()
# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")استعادة حالة DataLoader
بعد الاستئناف من نقطة تفتيش، قد يكون من المرغوب أيضاً الاستئناف من نقطة محددة في DataLoader النشط إذا تم حفظ الحالة في منتصف حقبة. يمكنك استخدام skip_first_batches() للقيام بذلك.
from accelerate import Accelerator
accelerator = Accelerator(project_dir="my/save/path")
train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")
# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)
# After the first iteration, go back to `train_dataloader`
# First epoch
for batch in skipped_dataloader:
# Do something
pass
# Second epoch
for batch in train_dataloader:
# Do something
pass