Mit dem Guide verknüpftes Quiz · Mittel Ebene

Längennormalisierung im Präferenzoptimierungsquiz

Untersuchen Sie, wie Präferenzoptimierungsziele mit der Antwortlänge umgehen, warum SimPO Token-Scores normalisiert und wie prägnante Antworten bewertet werden.

Verwandte FührungspfadeLängennormalisierung bei der Präferenzoptimierung
Frage 1 von 8

Welches unerwünschte Verhalten soll durch die Längennormalisierung bei DPO in erster Linie verhindert werden?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welches unerwünschte Verhalten soll durch die Längennormalisierung bei DPO in erster Linie verhindert werden?
    • Modelle bevorzugen längere Antworten, unabhängig von der tatsächlichen Qualität
    • Models, die sich weigern, Fragen zu beantworten
    • Models, die Fakten halluzinieren
    • Modelle reagieren zu langsam
  2. Warum nimmt die implizite Belohnung des Standard-DPO tendenziell mit der Antwortlänge zu?
    • Es vervielfacht die Belohnung mit der Temperatur
    • Es handelt sich um die Summe der Log-Wahrscheinlichkeitsunterschiede pro Token
    • Es wird ein fester Bonus pro Satz verwendet
    • Kurze Antworten werden ausdrücklich bestraft
  3. Wie geht SimPO mit dem Längenbias um?
    • Es verdoppelt das Gewicht des Referenzmodells
    • Alle Antworten werden auf eine feste Länge gekürzt
    • Als Belohnung wird die durchschnittliche Log-Wahrscheinlichkeit pro Token verwendet
    • Die Präferenzdaten werden vollständig entfernt
  4. Ein bemerkenswerter struktureller Unterschied zwischen SimPO und Standard-DPO besteht darin, dass SimPO:
    • Benötigt doppelt so viele Trainingsdaten
    • Funktioniert nur bei Bildern
    • Deaktiviert den Gefälleabstieg
    • Verwendet kein separates Referenzmodell
  5. Welche Bewertungspraxis trägt dazu bei, zu bestätigen, dass die Qualität eines Modells und nicht nur die Länge verbessert wurde?
    • Meldung einer längenkontrollierten Gewinnrate
    • Gesamtparameter zählen
    • GPU-Temperatur messen
    • Erhöhung der Chargengröße
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail