Kvíz spojený s průvodcem · Střední úroveň
Přímý kvíz optimalizace preferencí
Projděte si preferenční páry DPO, referenční politiku, implicitní odměny, beta verzi, varianty a limity přímého tréninku preferencí.
Otázka 1 z 8
Co eliminuje DPO ve srovnání s tradičním RLHF?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co eliminuje DPO ve srovnání s tradičním RLHF?
- Samostatný model odměn a výuková smyčka posílení
- Potřeba jakýchkoli údajů o lidských preferencích
- Základní předtrénovaný jazykový model
- Použití logaritmických pravděpodobností
- Z jakých údajů se skládá jeden příklad školení DPO?
- Výzva a číselné skóre odměny
- Výzva s vybranou a odmítnutou odpovědí
- Výzva a jediná správná odpověď
- Pouze výstup modelu odměny
- Jakou roli hraje referenční model v DPO?
- Generuje odmítnuté odpovědi
- Hodnotí odpovědi explicitními odměnami
- Je to zmrazená základní čára, podle které se měří politika, aby se omezil posun
- Nahrazuje tréninková data
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- Co řídí parametr beta (teplota) v DPO?
- Jak silně je politika udržována blízko referenčnímu modelu
- Rychlost učení optimalizátoru
- Počet preferenčních párů
- Velikost slovní zásoby
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio