Quiz collegato alla guida · Medio Livello

Quiz sull'ottimizzazione delle preferenze dirette

Esaminare le coppie di preferenze del DPO, la politica di riferimento, i premi impliciti, la beta, le varianti e i limiti della formazione sulle preferenze dirette.

Domanda 1 di 8

Cosa elimina il DPO rispetto al tradizionale RLHF?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa elimina il DPO rispetto al tradizionale RLHF?
    • Il modello di ricompensa separato e il ciclo di apprendimento di rinforzo
    • La necessità di dati sulle preferenze umane
    • Il modello linguistico di base preaddestrato
    • L'uso delle probabilità logaritmiche
  2. Da quali dati è composto un singolo esempio di formazione per DPO?
    • Un prompt e un punteggio di ricompensa numerico
    • Un prompt con una risposta scelta e una rifiutata
    • Un sollecito e un'unica risposta corretta
    • Solo l'output di un modello di ricompensa
  3. Che ruolo gioca il modello di riferimento nel DPO?
    • Genera le risposte rifiutate
    • Assegna un punteggio alle risposte con ricompense esplicite
    • È la linea di base congelata rispetto alla quale viene misurata la politica per limitare la deriva
    • Sostituisce i dati di addestramento
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Cosa controlla il parametro beta (temperatura) nel DPO?
    • Quanto fortemente la politica si mantiene vicina al modello di riferimento
    • Il tasso di apprendimento dell'ottimizzatore
    • Il numero di coppie di preferenze
    • La dimensione del vocabolario
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio