Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Közvetlen preferenciaoptimalizálási kvíz
Review DPO preference pairs, reference policy, implicit rewards, beta, variants, and limits of direct preference training.
kérdés 1 -ból 8
Mit szüntet meg az adatvédelmi tisztviselő a hagyományos RLHF-hez képest?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit szüntet meg az adatvédelmi tisztviselő a hagyományos RLHF-hez képest?
- A külön jutalommodell és a megerősítő tanulási hurok
- Bármilyen emberi preferencia adat szükségessége
- Az alap előképzett nyelvi modell
- A log-valószínűségek használata
- Milyen adatokból áll egyetlen DPO képzési példa?
- Egy felszólítás és egy numerikus jutalompontszám
- Egy felszólítás egy kiválasztott és egy elutasított válasszal
- Egy gyors és egyetlen helyes válasz
- Csak egy jutalommodell eredménye
- Milyen szerepet játszik a referenciamodell az adatvédelmi tisztviselőben?
- Ez generálja az elutasított válaszokat
- A válaszokat kifejezett jutalommal értékeli
- Ez az a befagyott alapvonal, amelyhez viszonyítva mérik a politikát az elsodródás korlátozása érdekében
- Ez helyettesíti az edzési adatokat
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- Mit szabályoz a DPO béta (hőmérséklet) paramétere?
- Milyen erősen tartják a politikát a referenciamodell közelében
- Az optimalizáló tanulási sebessége
- A preferencia párok száma
- A szókincs mérete
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio