Kontrast-Dekodierungs-Quiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Welche Rolle spielt das kleine „Amateur“-Modell bei der kontrastiven Dekodierung?
   • Seine Protokollwahrscheinlichkeiten werden subtrahiert, um gemeinsame Fehlermodi zu unterdrücken
   • Der endgültige Ausgabetext wird direkt generiert
   • Es ist auf die Fehler des Experten abgestimmt
   • Es ersetzt den Sachverständigen, wenn der Sachverständige unsicher ist
2. Warum reduziert das Subtrahieren der Wahrscheinlichkeiten des Amateurs Wiederholungen und langweilige Ergebnisse?
   • Dem Amateur wird beigebracht, niemals Wörter zu wiederholen
   • Generische und sich wiederholende Token werden von beiden Modellen bevorzugt, sodass sie durch den Kontrast aufgehoben werden
   • Der Amateur löscht doppelte Token nach der Generierung
   • Sobald zwei Modelle abstimmen, ist eine Wiederholung unmöglich
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. Wie lautet ungefähr die Bewertungsformel bei der kontrastiven Dekodierung?
   • log p_amateur minus log p_expert
   • p_expert mal p_amateur
   • Der Durchschnitt der beiden Wahrscheinlichkeiten
   • log p_expert minus ein Koeffizient mal log p_amateur
5. Ein wesentlicher praktischer Vorteil der kontrastiven Dekodierung besteht darin, dass sie:
   • Funktioniert zur Inferenzzeit ohne zusätzliche Schulung
   • Erfordert eine gemeinsame Umschulung beider Modelle
   • Funktioniert nur bei Klassifizierungsaufgaben
   • Macht ein großes Modell überflüssig
6. Welche spätere Methode erweitert die Kontrastidee auf die eigenen Schichten eines einzelnen Modells?
   • Strahlsuche
   • DoLa, das frühe und späte Schichten gegenüberstellt
   • Gierige Dekodierung
   • Temperaturskalierung
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0.4
   • 0,1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time