TRL documentation
Интеграция с DeepSpeed
Интеграция с DeepSpeed
TRL поддерживает обучение с использованием DeepSpeed — библиотеки, реализующей продвинутые методы оптимизации обучения. К ним относятся разделение состояния оптимизатора, выгрузка (offloading), разделение градиентов и другие.
DeepSpeed интегрирует Zero Redundancy Optimizer (ZeRO), который позволяет масштабировать размер модели пропорционально количеству устройств с сохранением высокой эффективности.

Установка
Чтобы использовать DeepSpeed с TRL, установите его с помощью следующей команды:
pip install deepspeed
Запуск скриптов обучения с DeepSpeed
Изменения в вашем скрипте обучения не требуются. DeepSpeed включается через аргументы обучения, как и для любого Trainer: установите deepspeed в путь к конфигурационному файлу DeepSpeed и запустите с помощью torchrun.
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")torchrun --nproc_per_node 8 train.py
Скрипты, которые разбирают свои аргументы с помощью TrlParser, например те, что стоят за CLI trl, получают их из командной строки:
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
Мы предоставляем готовые конфигурационные файлы DeepSpeed в директории examples/deepspeed_configs. Например, чтобы запустить обучение с ZeRO Stage 2:
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
Значения, установленные в этих файлах как "auto" (размер батча, накопление градиентов, точность, …), подставляются из аргументов обучения.
Дополнительные ресурсы
См. документацию DeepSpeed в 🤗 Transformers для получения дополнительной информации об интеграции DeepSpeed.
Update on GitHub