Quiz zur Optimierung direkter Präferenzen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was eliminiert DPO im Vergleich zum herkömmlichen RLHF?
   • Das separate Belohnungsmodell und die verstärkende Lernschleife
   • Die Notwendigkeit jeglicher menschlicher Präferenzdaten
   • Das grundlegende vorab trainierte Sprachmodell
   • Die Verwendung von Log-Wahrscheinlichkeiten
2. Aus welchen Daten besteht ein einzelnes DPO-Schulungsbeispiel?
   • Eine Eingabeaufforderung und eine numerische Belohnungspunktzahl
   • Eine Eingabeaufforderung mit einer ausgewählten und einer abgelehnten Antwort
   • Eine Eingabeaufforderung und eine einzige richtige Antwort
   • Nur die Ausgabe eines Belohnungsmodells
3. Welche Rolle spielt das Referenzmodell im DPO?
   • Es generiert die abgelehnten Antworten
   • Es bewertet Antworten mit expliziten Belohnungen
   • Es handelt sich um die eingefrorene Basislinie, an der die Richtlinie gemessen wird, um die Abweichung zu begrenzen
   • Es ersetzt die Trainingsdaten
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Was steuert der Beta-Parameter (Temperatur) in DPO?
   • Wie stark wird die Richtlinie nahe am Referenzmodell gehalten?
   • Die Lernrate des Optimierers
   • Die Anzahl der Präferenzpaare
   • Die Größe des Wortschatzes
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio