TRL documentation

Быстрый старт

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Быстрый старт

TRL — это комплексная библиотека для пост-обучения базовых моделей с использованием таких методов, как Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).

Быстрые примеры

Начните работу сразу с самых популярных тренеров TRL. Каждый пример использует компактные модели для быстрого экспериментирования.

Детальная настройка с учителем

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Групповая относительная оптимизация политики

Для accuracy_reward требуется math-verify, который можно установить с помощью pip install trl[math_verify].

from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()

Direct Preference Optimization

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Моделирование вознаграждения

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Интерфейс командной строки

Пропустите код и обучайте модель напрямую из терминала:

# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

Что дальше?

📚 Подробнее

  • SFT Trainer — Полное руководство по SFT
  • DPO Trainer — выравнивание предпочтений
  • GRPO Trainer — групповая относительная оптимизация политики

🚀 Масштабирование

💡 Примеры

Устранение неполадок

Не хватает памяти?

Уменьшите размер батча и включите оптимизации:

SFT
DPO
GRPO
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)

Потери не уменьшаются?

Попробуйте отрегулировать скорость обучения:

training_args = SFTConfig(learning_rate=2e-5)  # Good starting point

Для получения дополнительной помощи создайте issue на GitHub.

Update on GitHub