TRL documentation

نمذجة المكافآت

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

نمذجة المكافآت

model badge

نظرة عامة

يدعم TRL مُدرّب نموذج المكافآت المُشرَف على النتائج (ORM) لتدريب نماذج المكافآت.

تمت مساهمة Younes Belkada في هذه طريقة ما بعد التدريب.

البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج مكافأة باستخدام RewardTrainer من TRL. نقوم بتدريب نموذج Qwen 3 0.6B على مجموعة بيانات UltraFeedback، وهي مجموعة بيانات تفضيلات واسعة النطاق ودقيقة ومتنوعة.

from trl import RewardTrainer
from datasets import load_dataset

trainer = RewardTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

نوع وتنسيق مجموعة البيانات المتوقع

يدعم RewardTrainer نوع بيانات preference (سواءً كان الاستعلام ضمنياً أو صريحاً). ويتوافق RewardTrainer مع صيغتي البيانات standard وconversational. عند تقديم مجموعة بيانات محادثة، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائياً.

# Standard preference (implicit prompt)
{"chosen": "The sky is blue.",
 "rejected": "The sky is green."}

# Conversational preference (implicit prompt)
{"chosen": [{"role": "user", "content": "What color is the sky?"},
            {"role": "assistant", "content": "It is blue."}],
 "rejected": [{"role": "user", "content": "What color is the sky?"},
              {"role": "assistant", "content": "It is green."}]}

# Standard preference (explicit prompt)
{"prompt": "The sky is",
 "chosen": " blue.",
 "rejected": " green."}

# Conversational preference (explicit prompt)
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
 "chosen": [{"role": "assistant", "content": "It is blue."}],
 "rejected": [{"role": "assistant", "content": "It is green."}]}

إذا لم يكن مجموعة بياناتك بأي من هذه الصيغ، يمكنك معالجتها مسبقًا لتحويلها إلى الصيغة المتوقعة. إليك مثال باستخدام مجموعة بيانات lmarena-ai/arena-human-preference-55k:

from datasets import load_dataset
import json

dataset = load_dataset("lmarena-ai/arena-human-preference-55k")

# Filter out ties
dataset = dataset.filter(lambda example: example["winner_tie"] == 0)

# Create 'chosen' and 'rejected' fields based on the winner column
def response_a_b_to_chosen_rejected(example):
    if example["winner_model_a"] == 1:
        example["chosen"] = example["response_a"]
        example["rejected"] = example["response_b"]
    else:
        example["chosen"] = example["response_b"]
        example["rejected"] = example["response_a"]
    return example

dataset = dataset.map(response_a_b_to_chosen_rejected)

# Convert to conversational format
def make_conversation(example):
    prompt = json.loads(example["prompt"])[0]  # '["What color is the sky?"]' -> "What color is the sky?"
    chosen = json.loads(example["chosen"])[0]
    rejected = json.loads(example["rejected"])[0]
    return {
        "chosen": [{"role": "user", "content": prompt}, {"role": "assistant", "content": chosen}],
        "rejected": [{"role": "user", "content": prompt}, {"role": "assistant", "content": rejected}],
    }


dataset = dataset.map(make_conversation)

# Keep only necessary columns
dataset = dataset.select_columns(["chosen", "rejected"])

print(next(iter(dataset["train"])))
{
    "chosen": [
        {"role": "user", "content": "Is it morally right to try to have a certain percentage of females on managerial positions?"},
        {"role": "assistant", "content": "The question of whether it is morally right to aim for a certain percentage of females..."},
    ],
    "rejected": [
        {"role": "user", "content": "Is it morally right to try to have a certain percentage of females on managerial positions?"},
        {"role": "assistant", "content": "As an AI, I don't have personal beliefs or opinions. However, ..."},
    ],
}

النظر بعمق أكبر في طريقة التدريب

تُدرَّب نماذج المكافآت (RMs) عادةً باستخدام التعلّم المُشرف على مجموعات بيانات تحتوي على أزواج من الاستجابات المفضّلة وغير المفضّلة. الهدف هو تعلّم دالة تُسند درجات أعلى إلى الاستجابات المفضّلة، مما يتيح للنموذج ترتيب المخرجات بناءً على التفضيلات.

تفصّل هذه الأقسام كيفية عمل نمذجة المكافآت عملياً، مع تغطية الخطوات الرئيسية: المعالجة المسبقة وحساب الخسارة.

المعالجة المسبقة والتجزئة

أثناء التدريب، يُتوقع أن يحتوي كل مثال على حقل chosen وحقل rejected. لمزيد من التفاصيل حول الصيغ المتوقعة، راجع Dataset formats - Preference. يقوم RewardTrainer بتجزئة كل مدخل باستخدام مُجزّئ النموذج. إذا تم تقديم الأوامر (prompts) والإكمالات (completions) (المُختار والمرفوض) بشكل منفصل (حالة الأمر الصريح)، يتم دمجها قبل التجزئة.

حساب الخسارة

ليكن x x التسلسل المُدخل (الموجّه) وليكن y+ y^+ و y− y^- التسلسلان المختار والمرفوض على التوالي. وفقًا لنموذج برادلي-تيري (برادلي وتيري، 1952), احتمال تفضيل y+ y^+ على y− y^- بشرط وجود دالة مكافأة r r هو p(y+≻y−∣x)=σ(r(x,y+)−r(x,y−)) p(y^+ ≻ y^- |x) = \sigma(r(x, y^+)−r(x, y^-)) , حيث σ σ دالة سيجمويد.

نموذج المكافأة rθ(x,y) r_\theta(x, y) يُدرَّب على منح درجات أعلى للاستجابات المفضلة y+ y^+ مقارنةً بتلك غير المفضلة y− y^- . ثم يُعرَّف الدالة الخاسرة على أنها الاحتمالية السالبة للترجيحات المرصودة: L(θ)=−E(x,y+,y−)∼D[log⁡σ(rθ(x,y+)−rθ(x,y−))]. \mathcal{L}(\theta) = - \mathbb{E}_{(x,y^+,y^-) \sim \mathcal{D}} \left[ \log \sigma(r_\theta(x, y^+) - r_\theta(x, y^-)) \right].

نموذج برادلي-تيري غير محدد، مما يعني أن إضافة ثابت إلى جميع المكافآت لا يغيّر احتمالات التفضيل. لمعالجة ذلك، يقترح Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking إضافة حد خسارة مساعد يشجع على تمركز المكافآت حول الصفر. يتم التحكم في ذلك عبر معامل center_rewards_coefficient في RewardConfig. القيمة الموصى بها هي 1e-2.

المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية:

  • global_step: إجمالي عدد خطوات المُحسِّن التي تم اتخاذها حتى الآن.
  • epoch: رقم الحقبة الحالية، بناءً على تكرار مجموعة البيانات.
  • num_tokens: إجمالي عدد الرموز التي تمت معالجتها حتى الآن.
  • loss: متوسط الخسارة على مدى فترة التسجيل الأخيرة.
  • accuracy: نسبة التنبؤات الصحيحة (أي أن النموذج منح درجة أعلى للاستجابة المختارة مقارنة بالاستجابة المرفوضة) مُتوسّطةً على آخر فترة تسجيل.
  • min_reward: الحد الأدنى لدرجة المكافأة التي يحددها النموذج. يتم حساب متوسط هذه القيمة على مدى فترة التسجيل.
  • mean_reward: متوسط درجة المكافأة التي يسندها النموذج خلال آخر فترة تسجيل.
  • max_reward: أعلى درجة مكافأة يمنحها النموذج. يتم حساب متوسط هذه القيمة على مدى فترة التسجيل.
  • margin: متوسط الهامش (الفرق بين المكافآت المختارة والمرفوضة) خلال آخر فترة تسجيل.
  • learning_rate: معدل التعلم الحالي، والذي قد يتغير ديناميكيًا إذا تم استخدام مُجدوِل.
  • grad_norm: معيار L2 للتدرجات، يُحسب قبل اقتطاع التدرجات.

التخصيص

تهيئة النموذج

يمكنك تمرير معاملات from_pretrained() مباشرة إلى RewardConfig. على سبيل المثال، إذا كنت ترغب في تحميل نموذج بدقة مختلفة، على غرار

model = AutoModelForSequenceClassification.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)

يمكنك القيام بذلك عن طريق تمرير الحجة model_init_kwargs={"dtype": torch.bfloat16} إلى RewardConfig.

from trl import RewardConfig

training_args = RewardConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

لاحظ أن جميع معاملات الكلمات المفتاحية لـ from_pretrained() مدعومة، باستثناء num_labels، حيث يتم ضبطها تلقائيًا على 1.

تدريب المحوِّلات باستخدام PEFT

ندعم التكامل الوثيق مع مكتبة 🤗 PEFT، مما يتيح لأي مستخدم تدريب المحوِّلات (adapters) ومشاركتها على Hub بسهولة، بدلاً من تدريب النموذج بأكمله.

from datasets import load_dataset
from trl import RewardTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    "Qwen/Qwen3-4B",
    train_dataset=dataset,
    peft_config=LoraConfig(modules_to_save=["score"])  # important to include the score head when base model is not a sequence classification model
)

trainer.train()

يمكنك أيضًا مواصلة تدريب PeftModel. لذلك، قم أولًا بتحميل PeftModel خارج RewardTrainer ثم مرّره مباشرةً إلى المدرب دون تمرير معامل peft_config.

from datasets import load_dataset
from trl import RewardTrainer
from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-Reward-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = RewardTrainer(
    model=model,
    train_dataset=dataset,
)

trainer.train()

عند تدريب المُكيِّفات (adapters)، تستخدم عادةً معدل تعلّم أعلى (≈1e‑3) لأن المعاملات الجديدة فقط هي التي يتم تعلّمها.

RewardConfig(learning_rate=1e-3, ...)

استدعاء الأدوات مع نمذجة المكافآت

يدعم RewardTrainer بشكل كامل ضبط نماذج النماذج الدقيقة مع قدرات tool calling. في هذه الحالة، يجب أن يتضمن كل مثال في مجموعة البيانات:

  • رسائل المحادثة، بما في ذلك أي استدعاءات للأدوات (tool_calls) وردود الأدوات (رسائل بدور tool)
  • قائمة الأدوات المتاحة في عمود tools، والتي تُقدَّم عادةً كمخططات JSON

لمزيد من التفاصيل حول بنية مجموعة البيانات المتوقعة، راجع قسم Dataset Format — Tool Calling.

RewardTrainer

فئة trl.RewardTrainer

< >

( model: str | PreTrainedModel | PeftModelargs: trl.trainer.reward_config.RewardConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )

المعاملات

  • model (str أو PreTrainedModel أو PeftModel) — النموذج المراد تدريبه. يمكن أن يكون أحد ما يلي:
    • سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل './my_model_directory/'. يتم تحميل النموذج باستخدام AutoModelForSequenceClassification.from_pretrained مع حُجج الكلمات المفتاحية الموجودة في args.model_init_kwargs. إذا لم يتم تحديد dtype في args.model_init_kwargs، فإن القيمة الافتراضية هي float32. وهذا يختلف عن from_pretrained، حيث (منذ الإصدار v5 من Transformers) يتم استنتاج نوع البيانات من إعدادات النموذج.
    • كائن PreTrainedModel لتصنيف التسلسلات.
    • كائن PeftModel لتصنيف التسلسلات.
  • args (RewardConfig، اختياري) — إعدادات لهذا المدرب. إذا كانت None، يتم استخدام إعداد افتراضي.
  • data_collator (DataCollator، اختياري) — الدالة المستخدمة لتكوين دفعة (batch) من قائمة عناصر مجموعة البيانات train_dataset أو eval_dataset بعد المعالجة. سيتم افتراضياً استخدام DataCollatorForPreference.
  • train_dataset (Dataset أو IterableDataset) — مجموعة البيانات المستخدمة للتدريب. يدعم هذا المدرب التفضيلات النوع (سواءً كان الموجه ضمنيًا أو صريحًا). يمكن أن يكون تنسيق العينات إما:
    • قياسي: يحتوي كل عينة على نص عادي.
    • حواري: تحتوي كل عينة على رسائل منظمة (مثل الدور والمحتوى).

    يدعم المدرب أيضًا مجموعات البيانات المعالجة (المُرمّزة) ما دامت تحتوي على حقلي chosen_ids و rejected_ids.

    عندما يكون train_dataset من نوع IterableDataset (مثل مجموعة بيانات التدفق)، يجب تعيين max_steps في حُجج التدريب، لأن طولها لا يمكن استنتاجه، ويُطلب تحديد إجمالي عدد خطوات التدريب لتحديد نطاق حلقة التدريب وإعداد مجدول معدل التعلم.

  • eval_dataset (Dataset أو IterableDataset أو DatasetDict أو IterableDatasetDict أو dict[str, Dataset | IterableDataset]) — مجموعة البيانات المستخدمة للتقييم. يجب أن تستوفي نفس المتطلبات التي تستوفيها train_dataset.
  • processing_class (PreTrainedTokenizerBase، اختياري) — المُعالِج (Tokenizer) المستخدم لمعالجة البيانات. إذا كان None، يتم تحميل المُعالِج من اسم النموذج باستخدام from_pretrained. يجب تعيين رمز الحشو، processing_class.pad_token. إذا لم يكن لدى فئة المعالجة رمز حشو مُعيَّن، سيتم استخدام processing_class.eos_token كقيمة افتراضية.
  • compute_metrics (Callable[[EvalPrediction], dict]، اختياري) — الدالة التي ستُستخدم لحساب المقاييس أثناء التقييم. يجب أن تستقبل EvalPrediction وتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس. عند تمرير RewardConfig مع ضبط batch_eval_metrics على True، يجب أن تستقبل دالة compute_metrics الخاصة بك معاملًا من النوع المنطقي compute_result. سيُستدعى هذا بعد آخر دفعة تقييم للإشارة إلى أن الدالة بحاجة إلى حساب وإحصاءات الملخص العامة وإعادتها بدلاً من تراكم إحصاءات مستوى الدفعة.
  • callbacks (قائمة من TrainerCallback, اختياري) — قائمة من استدعاءات المراجعة (callbacks) لتخصيص حلقة التدريب. ستُضاف هذه الاستدعاءات إلى قائمة استدعاءات المراجعة الافتراضية المفصّلة هنا.

    إذا كنت ترغب في إزالة أحد المراجعات الافتراضية المستخدمة، فاستخدم طريقة remove_callback.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية (None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. ستكون القيمة الافتراضية هي نسخة من AdamW على النموذج الخاص بك، مع مُجدوِل يُحدده get_linear_schedule_with_warmup ويُتحكم به عبر args.
  • optimizer_cls_and_kwargs (tuple[Type[torch.optim.Optimizer], Dict[str, Any]], اختياري) — مجموعة تحتوي على فئة المُحسِّن (optimizer) وبارامترات الكلمات المفتاحية للاستخدام. تتجاوز optim و optim_args في args. غير متوافق مع optimizers البارامتر.

    على عكس optimizers، يتجنّب هذا الحُجّة الحاجة إلى وضع معاملات النموذج على الأجهزة الصحيحة قبل تهيئة Trainer.

  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor], اختياري) — دالة تعالج logits قبل تخزينها مؤقتًا في كل خطوة تقييم. يجب أن تستقبل مصفوفتين (tensors)، وهما logits والوسوم (labels)، وتعيد logits بعد المعالجة كما هو مطلوب. ستُنعكس التعديلات التي تجريها هذه الدالة في التنبؤات التي تستلمها compute_metrics.

    لاحظ أن التسميات (المعامل الثاني) ستكون None إذا لم تكن موجودة في مجموعة البيانات.

  • quantization_config (BitsAndBytesConfig، اختياري) — إعدادات التكميم المستخدمة عند تحميل النموذج من معرّف النموذج. ادمجها مع peft_config لتدريب QLoRA. يتم تجاهلها إذا كان النموذج مُثبَّتًا بالفعل، أو إذا تم ضبط quantization_config أيضًا في args.model_init_kwargs.
  • peft_config (PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانت None، فلن يتم تغليف النموذج. لاحظ أنه إذا كان النموذج المحمّل هو نموذج LM سببي، فيُنصح بشدة بإعداد modules_to_save=["score"] في إعدادات PEFT لضمان تدريب رأس المكافأة بشكل صحيح.

Trainer لنماذج المكافآت المُشرَف عليها من خلال النتائج (ORM).

هذا الصنف هو غلاف حول صنف Trainer ويرث جميع خصائصه وطرائقه.

مثال:

>>> from trl import RewardTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

>>> trainer = RewardTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

تدريب

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

المعاملات

  • resume_from_checkpoint (str أو bool، اختياري) — إذا كان str، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة من Trainer. وإذا كان bool ويساوي True، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة من Trainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.
  • trial (optuna.Trial أو dict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة.
  • ignore_keys_for_eval (list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

يعيد

~trainer_utils.TrainOutput

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

RewardConfig

فئة trl.RewardConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 0.0001lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsechat_template_path: str | None = Nonedisable_dropout: bool = Truedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024pad_to_multiple_of: int | str | None = 'auto'center_rewards_coefficient: float | None = Noneactivation_offloading: bool = Falsepad_token: str | None = None )

المعاملات التي تتحكم في النموذج

  • model_init_kwargs (dict[str, Any]، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عند تقديم الحجة model في RewardTrainer كنص. كما تُستخدم قيمة revision عند تحميل مُرمّز الرموز (tokenizer).
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.
  • chat_template_path (str, اختياري) — إذا تم تحديده، يُضبط قالب المحادثة الخاص بالنموذج. يمكن أن يكون هذا المسار إلى مُجزِّئ (مجلد محلي أو نموذج على Hugging Face Hub) أو مسارًا مباشرًا إلى ملف قالب Jinja. عند استخدام ملف Jinja، يجب التأكد من إضافة الرموز الخاصة المشار إليها في القالب إلى المُجزِّئ، وتغيير حجم طبقة التضمين الخاصة بالنموذج وفقًا لذلك.
  • disable_dropout (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج.

المعاملات التي تتحكم في معالجة البيانات المسبقة

  • dataset_num_proc (int، اختياري) — عدد العمليات المستخدمة لمعالجة مجموعة البيانات.
  • eos_token (str، اختياري) — الرمز المستخدم للإشارة إلى نهاية الدور أو التسلسل. إذا كان None، فإن القيمة الافتراضية هي processing_class.eos_token.
  • max_length (int أو None، اختياري، القيمة الافتراضية 1024) — الحد الأقصى لطول التسلسل المُرمَّز. يتم استبعاد العينات إذا تجاوز أيٌّ من التسلسل المختار أو المرفوض هذه القيمة. إذا كانت None، فلا يُطبَّق أيُّ تصفية.
  • pad_to_multiple_of (int أو str، اختياري، القيمة الافتراضية "auto") — إذا تم ضبطه، فسيتم ملء التسلسلات حتى تكون مضاعفاً لهذه القيمة. "auto" يملأ حتى مضاعف 128 على Neuron (AWS Trainium)، الذي يُجمَّع مرة واحدة لكل شكل إدخال، ولا يملأ في أي مكان آخر.

المعاملات التي تتحكم في التدريب

  • center_rewards_coefficient (float, اختياري) — معامل لتحفيز نموذج المكافأة على إخراج مكافآت ذات متوسط صفري (اقترحه هذا الورق، المعادلة 2). القيمة الموصى بها: 0.01.
  • activation_offloading (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم نقل التفعيلات إلى وحدة المعالجة المركزية (CPU).

معاملات غير مستخدمة

  • pad_token —

    تم إيقاف استخدام المعامل pad_token وسيتم حذفه في الإصدار v2.0.0. اضبط tokenizer.pad_token مباشرةً وقم بتمريره كـ processing_class إلى المدرب بدلاً من ذلك.

فئة التهيئة الخاصة بـ RewardTrainer.

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب المكافآت. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.

باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.

تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:

  • logging_steps: القيمة الافتراضية هي 10 بدلاً من 500.
  • gradient_checkpointing: القيمة الافتراضية هي True بدلاً من False.
  • bf16: القيمة الافتراضية هي True إذا لم يتم تعيين fp16، بدلاً من False.
  • learning_rate: القيمة الافتراضية هي 1e-4 بدلاً من 5e-5.
Update on GitHub