Accelerate documentation
TPU'lar üzerinde eğitim
TPU'lar üzerinde eğitim
TPU üzerinde eğitim, Accelerate kullanılsa bile çoklu GPU üzerinde eğitimden biraz farklı olabilir. Bu kılavuz, dikkatli olmanız gereken yerleri ve nedenlerini, ayrıca genel en iyi uygulamaları göstermeyi amaçlar.
Not Defterinde Eğitim
TPU'lar üzerinde eğitim sırasında asıl dikkat noktası notebook_launcher()'dan kaynaklanır. notebook öğreticisinde belirtildiği gibi, eğitim kodunuzu notebook_launcher() fonksiyonuna iletilebilecek bir fonksiyon biçiminde yeniden yapılandırmanız ve GPU üzerinde herhangi bir tensör tanımlamamaya özen göstermeniz gerekir.
TPU üzerindeyken son kısım o kadar önemli olmasa da, kavranması gereken kritik nokta, bir notebook'tan kod başlattığınızda bunu forking adı verilen bir süreç üzerinden yaptığınızdır. Komut satırından başlattığınızda, şu anda çalışan bir python süreci olmadığı için spawning gerçekleştirirsiniz ve yeni bir süreç başlatırsınız. Jupyter notebook'unuz zaten bir python sürecini kullandığı için, kodunuzu başlatmak üzere bu süreçten yeni bir süreç fork etmeniz gerekir.
Bu durum, modelinizi beyan etme konusunda önem kazanır. Fork edilmiş TPU süreçlerinde, modelinizi bir kez örnekleyip bunu eğitim fonksiyonu içine geçirmeniz önerilir. Bu, GPU'lerde eğitim yapmaktan farklıdır; GPU'lerde, gradyanları belirli anlarda senkronize edilip geri yayılan n model oluşturursunuz. Bunun yerine, tek bir model örneği tüm düğümler arasında paylaşılır ve ileri geri geçirilir. Bu, özellikle Kaggle çekirdeklerinde veya Google Colaboratory'de sağlanan gibi düşük kaynaklı TPU'lerde eğitim yaparken önemlidir.
CPU veya GPU üzerinde eğitim yapıldığında notebook_launcher() fonksiyonuna iletilen bir eğitim fonksiyonunun örneği aşağıda verilmiştir:
Bu kod parçası, burada bulunan
simple_nlp_exampledefterindeki kod parçasına dayanmaktadır ve basitlik adına küçük değişiklikler yapılmıştır.
def training_function():
# Initialize accelerator
accelerator = Accelerator()
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
train_dataloader, eval_dataloader = create_dataloaders(
train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
)
# Instantiate optimizer
optimizer = AdamW(params=model.parameters(), lr=hyperparameters["learning_rate"])
# Prepare everything
# There is no specific order to remember, we just need to unpack the objects in the same order we gave them to the
# prepare method.
model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
model, optimizer, train_dataloader, eval_dataloader
)
num_epochs = hyperparameters["num_epochs"]
# Now we train the model
for epoch in range(num_epochs):
model.train()
for step, batch in enumerate(train_dataloader):
outputs = model(**batch)
loss = outputs.loss
accelerator.backward(loss)
optimizer.step()
optimizer.zero_grad()from accelerate import notebook_launcher
notebook_launcher(training_function)Accelerate TPU için yapılandırılmışsa
notebook_launchervarsayılan olarak 8 işlem kullanır
Bu örneği kullanıp modeli eğitim döngüsünün içinde tanımlarsanız, düşük kaynaklı bir sistemde aşağıdaki gibi bir hata görebilirsiniz:
ProcessExitedException: process 0 terminated with signal SIGSEGVBu hata son derece kafa karıştırıcıdır ancak temel açıklaması, sistem RAM'inin tükendiğidir. Bu durumu tamamen önlemek için eğitim işlevini yeniden yapılandırarak tek bir model argümanı kabul etmesini sağlayabilir ve bunu dış bir hücrede tanımlayabilirsiniz:
# In another Jupyter cell
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)+ def training_function(model):
# Initialize accelerator
accelerator = Accelerator()
- model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
train_dataloader, eval_dataloader = create_dataloaders(
train_batch_size=hyperparameters["train_batch_size"], eval_batch_size=hyperparameters["eval_batch_size"]
)
...Ve son olarak eğitim fonksiyonunu şu şekilde çağırarak:
from accelerate import notebook_launcher
- notebook_launcher(training_function)
+ notebook_launcher(training_function, (model,))Yukarıdaki geçici çözüm, yalnızca Google Colaboratory veya Kaggle gibi düşük kaynaklı bir sunucudan Jupyter Notebook üzerinden TPU örneği başlatırken gereklidir. Bir betik kullanıyorsanız veya çok daha güçlü bir sunucuda başlatıyorsanız, modeli önceden tanımlamanıza gerek yoktur.
Karışık Hassasiyet ve Küresel Değişkenler
göç eğitiminde karma hassasiyet bölümünde belirtildiği gibi, Accelerate hem fp16 hem de bf16 destekler ve her ikisi de TPU'lar üzerinde kullanılabilir.
Bununla birlikte, son derece verimli olduğu için ideal olarak bf16 kullanılmalıdır.
bf16 ve Accelerate’yi TPU’larda kullanırken iki “katman” vardır: temel seviyede ve işlem seviyesinde.
Temel düzeyde, bu özellik Accelerator'a mixed_precision="bf16" parametresinin geçirilmesiyle etkinleştirilir, örneğin:
accelerator = Accelerator(mixed_precision="bf16")Varsayılan olarak bu, TPU'larda torch.float ve torch.double değerlerini bfloat16 olarak dönüştürür.
Ayarlanan özel yapılandırma, XLA_USE_BF16 ortam değişkeninin 1 olarak ayarlanmasıdır.
Yapılandırabileceğiniz bir ayar daha vardır: XLA_DOWNCAST_BF16 ortam değişkenini ayarlamak. 1 olarak ayarlanırsa, torch.float bfloat16 ve torch.double float32 olur.
Bu işlem, downcast_bf16=True geçirildiğinde Accelerator nesnesinde gerçekleştirilir:
accelerator = Accelerator(mixed_precision="bf16", downcast_bf16=True)bf16 yerine downcasting kullanmak, ham bf16 tensörlerin kullanılamayacağı metrik hesaplama, değer kaydetme gibi işlemler için faydalıdır.
TPU'larda Eğitim Süreleri
Betiklerinizi başlattığınızda, eğitimin başlangıçta olağanüstü yavaş göründüğünü fark edebilirsiniz. Bunun nedeni, TPU'ların bu yapılandırılmış bellek tahsisini son derece verimli bir şekilde kullanmadan önce, ne kadar bellek ayırmaları gerektiğini görmek için birkaç veri grubunu (batch) işler.
Model metriklerinizi hesaplamak için kullandığınız değerlendirme kodunun, kullanılan daha büyük bir parti boyutu nedeniyle daha uzun sürdüğünü fark ederseniz, işlem çok yavaşsa parti boyutunu eğitim verisiyle aynı tutmanız önerilir. Aksi takdirde bellek, ilk birkaç yinelemeden sonra bu yeni parti boyutuna yeniden tahsis edilir.
Update on GitHubBelleğin ayrılmış olması, kullanılacağı veya eğitim veri yükleyicinize geri döndüğünüzde parti boyutunun artacağı anlamına gelmez.