Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Közvetlen preferenciaoptimalizálási kvíz

Review DPO preference pairs, reference policy, implicit rewards, beta, variants, and limits of direct preference training.

Kapcsolódó útmutató utakKözvetlen preferenciaoptimalizálás
kérdés 1 -ból 8

Mit szüntet meg az adatvédelmi tisztviselő a hagyományos RLHF-hez képest?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit szüntet meg az adatvédelmi tisztviselő a hagyományos RLHF-hez képest?
    • A külön jutalommodell és a megerősítő tanulási hurok
    • Bármilyen emberi preferencia adat szükségessége
    • Az alap előképzett nyelvi modell
    • A log-valószínűségek használata
  2. Milyen adatokból áll egyetlen DPO képzési példa?
    • Egy felszólítás és egy numerikus jutalompontszám
    • Egy felszólítás egy kiválasztott és egy elutasított válasszal
    • Egy gyors és egyetlen helyes válasz
    • Csak egy jutalommodell eredménye
  3. Milyen szerepet játszik a referenciamodell az adatvédelmi tisztviselőben?
    • Ez generálja az elutasított válaszokat
    • A válaszokat kifejezett jutalommal értékeli
    • Ez az a befagyott alapvonal, amelyhez viszonyítva mérik a politikát az elsodródás korlátozása érdekében
    • Ez helyettesíti az edzési adatokat
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Mit szabályoz a DPO béta (hőmérséklet) paramétere?
    • Milyen erősen tartják a politikát a referenciamodell közelében
    • Az optimalizáló tanulási sebessége
    • A preferencia párok száma
    • A szókincs mérete
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio