TRL documentation
نمذجة المكافآت
نمذجة المكافآت
نظرة عامة
يدعم TRL مُدرّب نموذج المكافآت المُشرَف على النتائج (ORM) لتدريب نماذج المكافآت.
تمت مساهمة Younes Belkada في هذه طريقة ما بعد التدريب.
البدء السريع
يُظهر هذا المثال كيفية تدريب نموذج مكافأة باستخدام RewardTrainer من TRL. نقوم بتدريب نموذج Qwen 3 0.6B على مجموعة بيانات UltraFeedback، وهي مجموعة بيانات تفضيلات واسعة النطاق ودقيقة ومتنوعة.
from trl import RewardTrainer
from datasets import load_dataset
trainer = RewardTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()نوع وتنسيق مجموعة البيانات المتوقع
يدعم RewardTrainer نوع بيانات preference (سواءً كان الاستعلام ضمنياً أو صريحاً). ويتوافق RewardTrainer مع صيغتي البيانات standard وconversational. عند تقديم مجموعة بيانات محادثة، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائياً.
# Standard preference (implicit prompt)
{"chosen": "The sky is blue.",
"rejected": "The sky is green."}
# Conversational preference (implicit prompt)
{"chosen": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}],
"rejected": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is green."}]}
# Standard preference (explicit prompt)
{"prompt": "The sky is",
"chosen": " blue.",
"rejected": " green."}
# Conversational preference (explicit prompt)
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
"chosen": [{"role": "assistant", "content": "It is blue."}],
"rejected": [{"role": "assistant", "content": "It is green."}]}إذا لم يكن مجموعة بياناتك بأي من هذه الصيغ، يمكنك معالجتها مسبقًا لتحويلها إلى الصيغة المتوقعة. إليك مثال باستخدام مجموعة بيانات lmarena-ai/arena-human-preference-55k:
from datasets import load_dataset
import json
dataset = load_dataset("lmarena-ai/arena-human-preference-55k")
# Filter out ties
dataset = dataset.filter(lambda example: example["winner_tie"] == 0)
# Create 'chosen' and 'rejected' fields based on the winner column
def response_a_b_to_chosen_rejected(example):
if example["winner_model_a"] == 1:
example["chosen"] = example["response_a"]
example["rejected"] = example["response_b"]
else:
example["chosen"] = example["response_b"]
example["rejected"] = example["response_a"]
return example
dataset = dataset.map(response_a_b_to_chosen_rejected)
# Convert to conversational format
def make_conversation(example):
prompt = json.loads(example["prompt"])[0] # '["What color is the sky?"]' -> "What color is the sky?"
chosen = json.loads(example["chosen"])[0]
rejected = json.loads(example["rejected"])[0]
return {
"chosen": [{"role": "user", "content": prompt}, {"role": "assistant", "content": chosen}],
"rejected": [{"role": "user", "content": prompt}, {"role": "assistant", "content": rejected}],
}
dataset = dataset.map(make_conversation)
# Keep only necessary columns
dataset = dataset.select_columns(["chosen", "rejected"])
print(next(iter(dataset["train"]))){
"chosen": [
{"role": "user", "content": "Is it morally right to try to have a certain percentage of females on managerial positions?"},
{"role": "assistant", "content": "The question of whether it is morally right to aim for a certain percentage of females..."},
],
"rejected": [
{"role": "user", "content": "Is it morally right to try to have a certain percentage of females on managerial positions?"},
{"role": "assistant", "content": "As an AI, I don't have personal beliefs or opinions. However, ..."},
],
}النظر بعمق أكبر في طريقة التدريب
تُدرَّب نماذج المكافآت (RMs) عادةً باستخدام التعلّم المُشرف على مجموعات بيانات تحتوي على أزواج من الاستجابات المفضّلة وغير المفضّلة. الهدف هو تعلّم دالة تُسند درجات أعلى إلى الاستجابات المفضّلة، مما يتيح للنموذج ترتيب المخرجات بناءً على التفضيلات.
تفصّل هذه الأقسام كيفية عمل نمذجة المكافآت عملياً، مع تغطية الخطوات الرئيسية: المعالجة المسبقة وحساب الخسارة.
المعالجة المسبقة والتجزئة
أثناء التدريب، يُتوقع أن يحتوي كل مثال على حقل chosen وحقل rejected. لمزيد من التفاصيل حول الصيغ المتوقعة، راجع Dataset formats - Preference. يقوم RewardTrainer بتجزئة كل مدخل باستخدام مُجزّئ النموذج. إذا تم تقديم الأوامر (prompts) والإكمالات (completions) (المُختار والمرفوض) بشكل منفصل (حالة الأمر الصريح)، يتم دمجها قبل التجزئة.
حساب الخسارة
ليكن التسلسل المُدخل (الموجّه) وليكن و التسلسلان المختار والمرفوض على التوالي. وفقًا لنموذج برادلي-تيري (برادلي وتيري، 1952), احتمال تفضيل على بشرط وجود دالة مكافأة هو , حيث دالة سيجمويد.
نموذج المكافأة يُدرَّب على منح درجات أعلى للاستجابات المفضلة مقارنةً بتلك غير المفضلة . ثم يُعرَّف الدالة الخاسرة على أنها الاحتمالية السالبة للترجيحات المرصودة:
نموذج برادلي-تيري غير محدد، مما يعني أن إضافة ثابت إلى جميع المكافآت لا يغيّر احتمالات التفضيل. لمعالجة ذلك، يقترح Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking إضافة حد خسارة مساعد يشجع على تمركز المكافآت حول الصفر. يتم التحكم في ذلك عبر معامل
center_rewards_coefficientفي RewardConfig. القيمة الموصى بها هي1e-2.
المقاييس المسجّلة
أثناء التدريب والتقييم، نسجّل المقاييس التالية:
global_step: إجمالي عدد خطوات المُحسِّن التي تم اتخاذها حتى الآن.epoch: رقم الحقبة الحالية، بناءً على تكرار مجموعة البيانات.num_tokens: إجمالي عدد الرموز التي تمت معالجتها حتى الآن.loss: متوسط الخسارة على مدى فترة التسجيل الأخيرة.accuracy: نسبة التنبؤات الصحيحة (أي أن النموذج منح درجة أعلى للاستجابة المختارة مقارنة بالاستجابة المرفوضة) مُتوسّطةً على آخر فترة تسجيل.min_reward: الحد الأدنى لدرجة المكافأة التي يحددها النموذج. يتم حساب متوسط هذه القيمة على مدى فترة التسجيل.mean_reward: متوسط درجة المكافأة التي يسندها النموذج خلال آخر فترة تسجيل.max_reward: أعلى درجة مكافأة يمنحها النموذج. يتم حساب متوسط هذه القيمة على مدى فترة التسجيل.margin: متوسط الهامش (الفرق بين المكافآت المختارة والمرفوضة) خلال آخر فترة تسجيل.learning_rate: معدل التعلم الحالي، والذي قد يتغير ديناميكيًا إذا تم استخدام مُجدوِل.grad_norm: معيار L2 للتدرجات، يُحسب قبل اقتطاع التدرجات.
التخصيص
تهيئة النموذج
يمكنك تمرير معاملات from_pretrained() مباشرة إلى RewardConfig. على سبيل المثال، إذا كنت ترغب في تحميل نموذج بدقة مختلفة، على غرار
model = AutoModelForSequenceClassification.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)يمكنك القيام بذلك عن طريق تمرير الحجة model_init_kwargs={"dtype": torch.bfloat16} إلى RewardConfig.
from trl import RewardConfig
training_args = RewardConfig(
model_init_kwargs={"dtype": torch.bfloat16},
)لاحظ أن جميع معاملات الكلمات المفتاحية لـ from_pretrained() مدعومة، باستثناء num_labels، حيث يتم ضبطها تلقائيًا على 1.
تدريب المحوِّلات باستخدام PEFT
ندعم التكامل الوثيق مع مكتبة 🤗 PEFT، مما يتيح لأي مستخدم تدريب المحوِّلات (adapters) ومشاركتها على Hub بسهولة، بدلاً من تدريب النموذج بأكمله.
from datasets import load_dataset
from trl import RewardTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
"Qwen/Qwen3-4B",
train_dataset=dataset,
peft_config=LoraConfig(modules_to_save=["score"]) # important to include the score head when base model is not a sequence classification model
)
trainer.train()يمكنك أيضًا مواصلة تدريب PeftModel. لذلك، قم أولًا بتحميل PeftModel خارج RewardTrainer ثم مرّره مباشرةً إلى المدرب دون تمرير معامل peft_config.
from datasets import load_dataset
from trl import RewardTrainer
from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-Reward-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")
trainer = RewardTrainer(
model=model,
train_dataset=dataset,
)
trainer.train()عند تدريب المُكيِّفات (adapters)، تستخدم عادةً معدل تعلّم أعلى (≈1e‑3) لأن المعاملات الجديدة فقط هي التي يتم تعلّمها.
RewardConfig(learning_rate=1e-3, ...)
استدعاء الأدوات مع نمذجة المكافآت
يدعم RewardTrainer بشكل كامل ضبط نماذج النماذج الدقيقة مع قدرات tool calling. في هذه الحالة، يجب أن يتضمن كل مثال في مجموعة البيانات:
- رسائل المحادثة، بما في ذلك أي استدعاءات للأدوات (
tool_calls) وردود الأدوات (رسائل بدورtool) - قائمة الأدوات المتاحة في عمود
tools، والتي تُقدَّم عادةً كمخططات JSON
لمزيد من التفاصيل حول بنية مجموعة البيانات المتوقعة، راجع قسم Dataset Format — Tool Calling.
RewardTrainer
فئة trl.RewardTrainer
< source >( model: str | PreTrainedModel | PeftModelargs: trl.trainer.reward_config.RewardConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )
المعاملات
- model (
strأو PreTrainedModel أوPeftModel) — النموذج المراد تدريبه. يمكن أن يكون أحد ما يلي:- سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل
'./my_model_directory/'. يتم تحميل النموذج باستخدامAutoModelForSequenceClassification.from_pretrainedمع حُجج الكلمات المفتاحية الموجودة فيargs.model_init_kwargs. إذا لم يتم تحديدdtypeفيargs.model_init_kwargs، فإن القيمة الافتراضية هيfloat32. وهذا يختلف عن from_pretrained، حيث (منذ الإصدار v5 من Transformers) يتم استنتاج نوع البيانات من إعدادات النموذج. - كائن PreTrainedModel لتصنيف التسلسلات.
- كائن
PeftModelلتصنيف التسلسلات.
- سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل
- args (RewardConfig، اختياري) —
إعدادات لهذا المدرب. إذا كانت
None، يتم استخدام إعداد افتراضي. - data_collator (
DataCollator، اختياري) — الدالة المستخدمة لتكوين دفعة (batch) من قائمة عناصر مجموعة البياناتtrain_datasetأوeval_datasetبعد المعالجة. سيتم افتراضياً استخدامDataCollatorForPreference. - train_dataset (Dataset أو IterableDataset) —
مجموعة البيانات المستخدمة للتدريب. يدعم هذا المدرب التفضيلات النوع (سواءً كان الموجه ضمنيًا أو صريحًا). يمكن أن يكون تنسيق العينات إما:
يدعم المدرب أيضًا مجموعات البيانات المعالجة (المُرمّزة) ما دامت تحتوي على حقلي
chosen_idsوrejected_ids.عندما يكون
train_datasetمن نوع IterableDataset (مثل مجموعة بيانات التدفق)، يجب تعيينmax_stepsفي حُجج التدريب، لأن طولها لا يمكن استنتاجه، ويُطلب تحديد إجمالي عدد خطوات التدريب لتحديد نطاق حلقة التدريب وإعداد مجدول معدل التعلم. - eval_dataset (Dataset أو IterableDataset أو DatasetDict أو IterableDatasetDict أو
dict[str, Dataset | IterableDataset]) — مجموعة البيانات المستخدمة للتقييم. يجب أن تستوفي نفس المتطلبات التي تستوفيهاtrain_dataset. - processing_class (PreTrainedTokenizerBase، اختياري) —
المُعالِج (Tokenizer) المستخدم لمعالجة البيانات. إذا كان
None، يتم تحميل المُعالِج من اسم النموذج باستخدام from_pretrained. يجب تعيين رمز الحشو،processing_class.pad_token. إذا لم يكن لدى فئة المعالجة رمز حشو مُعيَّن، سيتم استخدامprocessing_class.eos_tokenكقيمة افتراضية. - compute_metrics (
Callable[[EvalPrediction], dict]، اختياري) — الدالة التي ستُستخدم لحساب المقاييس أثناء التقييم. يجب أن تستقبل EvalPrediction وتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس. عند تمرير RewardConfig مع ضبطbatch_eval_metricsعلىTrue، يجب أن تستقبل دالةcompute_metricsالخاصة بك معاملًا من النوع المنطقيcompute_result. سيُستدعى هذا بعد آخر دفعة تقييم للإشارة إلى أن الدالة بحاجة إلى حساب وإحصاءات الملخص العامة وإعادتها بدلاً من تراكم إحصاءات مستوى الدفعة. - callbacks (قائمة من TrainerCallback, اختياري) —
قائمة من استدعاءات المراجعة (callbacks) لتخصيص حلقة التدريب. ستُضاف هذه الاستدعاءات إلى قائمة استدعاءات المراجعة الافتراضية المفصّلة هنا.
إذا كنت ترغب في إزالة أحد المراجعات الافتراضية المستخدمة، فاستخدم طريقة remove_callback.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية(None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. ستكون القيمة الافتراضية هي نسخة منAdamWعلى النموذج الخاص بك، مع مُجدوِل يُحدده get_linear_schedule_with_warmup ويُتحكم به عبرargs. - optimizer_cls_and_kwargs (
tuple[Type[torch.optim.Optimizer], Dict[str, Any]], اختياري) — مجموعة تحتوي على فئة المُحسِّن (optimizer) وبارامترات الكلمات المفتاحية للاستخدام. تتجاوزoptimوoptim_argsفيargs. غير متوافق معoptimizersالبارامتر.على عكس
optimizers، يتجنّب هذا الحُجّة الحاجة إلى وضع معاملات النموذج على الأجهزة الصحيحة قبل تهيئة Trainer. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor], اختياري) — دالة تعالج logits قبل تخزينها مؤقتًا في كل خطوة تقييم. يجب أن تستقبل مصفوفتين (tensors)، وهما logits والوسوم (labels)، وتعيد logits بعد المعالجة كما هو مطلوب. ستُنعكس التعديلات التي تجريها هذه الدالة في التنبؤات التي تستلمهاcompute_metrics.لاحظ أن التسميات (المعامل الثاني) ستكون
Noneإذا لم تكن موجودة في مجموعة البيانات. - quantization_config (BitsAndBytesConfig، اختياري) —
إعدادات التكميم المستخدمة عند تحميل النموذج من معرّف النموذج. ادمجها مع
peft_configلتدريب QLoRA. يتم تجاهلها إذا كان النموذج مُثبَّتًا بالفعل، أو إذا تم ضبطquantization_configأيضًا فيargs.model_init_kwargs. - peft_config (
PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانتNone، فلن يتم تغليف النموذج. لاحظ أنه إذا كان النموذج المحمّل هو نموذج LM سببي، فيُنصح بشدة بإعدادmodules_to_save=["score"]في إعدادات PEFT لضمان تدريب رأس المكافأة بشكل صحيح.
Trainer لنماذج المكافآت المُشرَف عليها من خلال النتائج (ORM).
هذا الصنف هو غلاف حول صنف Trainer ويرث جميع خصائصه وطرائقه.
مثال:
>>> from trl import RewardTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
>>> trainer = RewardTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()تدريب
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
المعاملات
- resume_from_checkpoint (
strأوbool، اختياري) — إذا كانstr، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة منTrainer. وإذا كانboolويساويTrue، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة منTrainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا. - trial (
optuna.Trialأوdict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة. - ignore_keys_for_eval (
list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.
يعيد
~trainer_utils.TrainOutput
كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.
نقطة الدخول الرئيسية للتدريب.
سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().
سيتم الحفظ من العملية الرئيسية فقط.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
المعاملات
- commit_message (
str، اختياري، الافتراضي"End of training") — الرسالة التي تُرسل عند الدفع. - blocking (
bool، اختياري، الافتراضيTrue) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمالgit push. - token (
str، اختياري، القيمة الافتراضيةNone) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer. - revision (
str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”. - private (
bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هيargs.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا. - kwargs (
dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى~Trainer.create_model_card.
ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.
RewardConfig
فئة trl.RewardConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 0.0001lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsechat_template_path: str | None = Nonedisable_dropout: bool = Truedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024pad_to_multiple_of: int | str | None = 'auto'center_rewards_coefficient: float | None = Noneactivation_offloading: bool = Falsepad_token: str | None = None )
المعاملات التي تتحكم في النموذج
- model_init_kwargs (
dict[str, Any]، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عند تقديم الحجةmodelفي RewardTrainer كنص. كما تُستخدم قيمةrevisionعند تحميل مُرمّز الرموز (tokenizer). - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. - chat_template_path (
str, اختياري) — إذا تم تحديده، يُضبط قالب المحادثة الخاص بالنموذج. يمكن أن يكون هذا المسار إلى مُجزِّئ (مجلد محلي أو نموذج على Hugging Face Hub) أو مسارًا مباشرًا إلى ملف قالب Jinja. عند استخدام ملف Jinja، يجب التأكد من إضافة الرموز الخاصة المشار إليها في القالب إلى المُجزِّئ، وتغيير حجم طبقة التضمين الخاصة بالنموذج وفقًا لذلك. - disable_dropout (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج.
المعاملات التي تتحكم في معالجة البيانات المسبقة
- dataset_num_proc (
int، اختياري) — عدد العمليات المستخدمة لمعالجة مجموعة البيانات. - eos_token (
str، اختياري) — الرمز المستخدم للإشارة إلى نهاية الدور أو التسلسل. إذا كانNone، فإن القيمة الافتراضية هيprocessing_class.eos_token. - max_length (
intأوNone، اختياري، القيمة الافتراضية1024) — الحد الأقصى لطول التسلسل المُرمَّز. يتم استبعاد العينات إذا تجاوز أيٌّ من التسلسل المختار أو المرفوض هذه القيمة. إذا كانتNone، فلا يُطبَّق أيُّ تصفية. - pad_to_multiple_of (
intأوstr، اختياري، القيمة الافتراضية"auto") — إذا تم ضبطه، فسيتم ملء التسلسلات حتى تكون مضاعفاً لهذه القيمة."auto"يملأ حتى مضاعف 128 على Neuron (AWS Trainium)، الذي يُجمَّع مرة واحدة لكل شكل إدخال، ولا يملأ في أي مكان آخر.
المعاملات التي تتحكم في التدريب
- center_rewards_coefficient (
float, اختياري) — معامل لتحفيز نموذج المكافأة على إخراج مكافآت ذات متوسط صفري (اقترحه هذا الورق، المعادلة 2). القيمة الموصى بها:0.01. - activation_offloading (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم نقل التفعيلات إلى وحدة المعالجة المركزية (CPU).
معاملات غير مستخدمة
فئة التهيئة الخاصة بـ RewardTrainer.
تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب المكافآت. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.
باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.
تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:
logging_steps: القيمة الافتراضية هي10بدلاً من500.gradient_checkpointing: القيمة الافتراضية هيTrueبدلاً منFalse.bf16: القيمة الافتراضية هيTrueإذا لم يتم تعيينfp16، بدلاً منFalse.learning_rate: القيمة الافتراضية هي1e-4بدلاً من5e-5.