TRL documentation

Интеграция с DeepSpeed

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Интеграция с DeepSpeed

TRL поддерживает обучение с использованием DeepSpeed — библиотеки, реализующей продвинутые методы оптимизации обучения. К ним относятся разделение состояния оптимизатора, выгрузка (offloading), разделение градиентов и другие.

DeepSpeed интегрирует Zero Redundancy Optimizer (ZeRO), который позволяет масштабировать размер модели пропорционально количеству устройств с сохранением высокой эффективности.

ZeRO Stages

Установка

Чтобы использовать DeepSpeed с TRL, установите его с помощью следующей команды:

pip install deepspeed

Запуск скриптов обучения с DeepSpeed

Изменения в вашем скрипте обучения не требуются. DeepSpeed включается через аргументы обучения, как и для любого Trainer: установите deepspeed в путь к конфигурационному файлу DeepSpeed и запустите с помощью torchrun.

training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
torchrun --nproc_per_node 8 train.py

Скрипты, которые разбирают свои аргументы с помощью TrlParser, например те, что стоят за CLI trl, получают их из командной строки:

trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>

Мы предоставляем готовые конфигурационные файлы DeepSpeed в директории examples/deepspeed_configs. Например, чтобы запустить обучение с ZeRO Stage 2:

trl sft ... --deepspeed examples/deepspeed_configs/zero2.json

Значения, установленные в этих файлах как "auto" (размер батча, накопление градиентов, точность, …), подставляются из аргументов обучения.

Дополнительные ресурсы

См. документацию DeepSpeed в 🤗 Transformers для получения дополнительной информации об интеграции DeepSpeed.

Update on GitHub