Accelerate documentation
ابدأ من هنا!
البدء
الدروس التعليمية
نظرة عامةأضِف Accelerate إلى كودكعملية التنفيذتدريب TPUإطلاق سكربتات Accelerateإطلاق التدريب الموزّع من كتيّبات Jupyter
أدلة الاستخدام
Accelerate
ابدأ من هنا!مقدّر ذاكرة النموذجتكميم النموذجمتتبعات التجاربأداة التحليلالتحقق من النقاطاستكشاف الأخطاءمثال حديقة الحيوان
التدريب
تراكم التدرجاتLocal SGDالتدريب بدقة منخفضة (FP8)DeepSpeedاستخدام عدة نماذج مع DeepSpeedخطافات اتصال DDPالتوازي الكامل للبيانات المجزأةMegatron-LMAmazon SageMakerوحدات معالجة الرسوميات Apple M1معالج IntelIntel Gaudiالتجميع
الاستدلال
المفاهيم والأساسيات
آلية Accelerate الداخليةتحميل النماذج الكبيرة في الذاكرةمقارنة الأداء عبر التكوينات الموزعةتنفيذ المهام وتأجيلهامزامنة التدرجاتFSDP مقابل DeepSpeedFSDP1 مقابل FSDP2التوازي السياقيالتوازي التسلسليطرق التدريب بدقة منخفضةالتدريب على وحدات TPU
مرجع
ابدأ من هنا!
يرجى استخدام الأداة التفاعلية أدناه لمساعدتك على البدء في تعلّم ميزة معينة من Accelerate وكيفية الاستفادة منها! ستوفر لك هذه الأداة فرقًا في الكود (code diff)، وشرحًا لما يحدث، بالإضافة إلى بعض الروابط المفيدة لاستكشاف المزيد داخل التوثيق!
تبدأ معظم أمثلة الأكواد من كود بايثون التالي قبل دمج Accelerate بطريقة ما:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()