Quiz zur Belohnungsmodellierung

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was ist die primäre Ausgabe eines Belohnungsmodells für ein bestimmtes Prompt-Response-Paar?
   • Eine einzelne Skalarbewertung
   • Eine Antwort im Volltext
   • Eine Wahrscheinlichkeitsverteilung über den Wortschatz
   • Eine Liste bevorzugter Token
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. Was optimiert der standardmäßige Verlust des Belohnungsmodells?
   • Der absolute Belohnungswert jeder Antwort
   • Die Genauigkeit der Vorhersage des nächsten Tokens
   • Dass die gewählte Antwort besser abschneidet als die abgelehnte
   • Die Länge der Antworten
4. Was ist „Belohnungs-Hacking“?
   • Das Belohnungsmodell eines Konkurrenten stehlen
   • Eine Methode zur Beschleunigung des Trainings
   • Verschlüsselung des Belohnungssignals
   • Die Politik nutzt Mängel im Belohnungsmodell aus, um ohne echte Qualität hohe Punktzahlen zu erzielen
5. Wie wird ein Belohnungsmodell architektonisch aus einem Sprachmodell abgeleitet?
   • Durch Ersetzen des Token-Vorhersagekopfs durch einen einzelnen Skalarausgabekopf
   • Durch das Hinzufügen weiterer Aufmerksamkeitsebenen
   • Durch Entfernen aller Transformatorschichten
   • Durch die Verdoppelung des Wortschatzes
6. Wie wird ein Belohnungsmodell zum Inferenzzeitpunkt bei der Best-of-N-Stichprobe verwendet?
   • N Belohnungsmodelle parallel trainieren
   • Generieren Sie mehrere Antworten und verwenden Sie das Belohnungsmodell, um die Antwort mit der höchsten Punktzahl auszuwählen
   • Auswahl der N häufigsten Token
   • Mittelung von N Modellprüfpunkten
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons