TRL documentation
Быстрый старт
Начало работы
Концептуальные руководства
Тренеры
Руководства
Интерфейс командной строки (CLI)Обучение с помощью JobsНастройка обученияСнижение потребления памятиУскорение обученияРаспределение обученияОбучение на AWS TrainiumОбучение на GPU AMDОбучение на последовательностях длиннее 1 млн токеновИспользование обученных моделей
Интеграции
Примеры
API
Экспериментальный
Быстрый старт
TRL — это комплексная библиотека для пост-обучения базовых моделей с использованием таких методов, как Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).
Быстрые примеры
Начните работу сразу с самых популярных тренеров TRL. Каждый пример использует компактные модели для быстрого экспериментирования.
Детальная настройка с учителем
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Групповая относительная оптимизация политики
Для accuracy_reward требуется math-verify, который можно установить с помощью pip install trl[math_verify].
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Direct Preference Optimization
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Моделирование вознаграждения
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Интерфейс командной строки
Пропустите код и обучайте модель напрямую из терминала:
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedЧто дальше?
📚 Подробнее
- SFT Trainer — Полное руководство по SFT
- DPO Trainer — выравнивание предпочтений
- GRPO Trainer — групповая относительная оптимизация политики
🚀 Масштабирование
- Распределённое обучение - конфигурации с несколькими GPU
- Оптимизация памяти - Эффективное обучение
- Интеграция с PEFT - LoRA и QLoRA
💡 Примеры
- Скрипты примеров — готовый к использованию в продакшене код
- Обучающие материалы сообщества - Внешние руководства
Устранение неполадок
Не хватает памяти?
Уменьшите размер батча и включите оптимизации:
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)Потери не уменьшаются?
Попробуйте отрегулировать скорость обучения:
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointДля получения дополнительной помощи создайте issue на GitHub.
Update on GitHub