Quiz collegato alla guida · Medio Livello
Quiz sull'ottimizzazione delle preferenze dirette
Esaminare le coppie di preferenze del DPO, la politica di riferimento, i premi impliciti, la beta, le varianti e i limiti della formazione sulle preferenze dirette.
Domanda 1 di 8
Cosa elimina il DPO rispetto al tradizionale RLHF?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa elimina il DPO rispetto al tradizionale RLHF?
- Il modello di ricompensa separato e il ciclo di apprendimento di rinforzo
- La necessità di dati sulle preferenze umane
- Il modello linguistico di base preaddestrato
- L'uso delle probabilità logaritmiche
- Da quali dati è composto un singolo esempio di formazione per DPO?
- Un prompt e un punteggio di ricompensa numerico
- Un prompt con una risposta scelta e una rifiutata
- Un sollecito e un'unica risposta corretta
- Solo l'output di un modello di ricompensa
- Che ruolo gioca il modello di riferimento nel DPO?
- Genera le risposte rifiutate
- Assegna un punteggio alle risposte con ricompense esplicite
- È la linea di base congelata rispetto alla quale viene misurata la politica per limitare la deriva
- Sostituisce i dati di addestramento
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- Cosa controlla il parametro beta (temperatura) nel DPO?
- Quanto fortemente la politica si mantiene vicina al modello di riferimento
- Il tasso di apprendimento dell'ottimizzatore
- Il numero di coppie di preferenze
- La dimensione del vocabolario
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio