Quiz collegato alla guida · Medio Livello

Normalizzazione della lunghezza nel quiz sull'ottimizzazione delle preferenze

Esamina come gli obiettivi di ottimizzazione delle preferenze gestiscono la lunghezza della risposta, perché SimPO normalizza i punteggi dei token e come vengono valutate le risposte concise.

Domanda 1 di 8

Quale comportamento indesiderato mira principalmente a prevenire la normalizzazione della lunghezza nel DPO?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale comportamento indesiderato mira principalmente a prevenire la normalizzazione della lunghezza nel DPO?
    • Modelli che favoriscono risposte più lunghe indipendentemente dalla qualità effettiva
    • Modelle che si rifiutano di rispondere alle domande
    • Modella fatti allucinanti
    • I modelli rispondono troppo lentamente
  2. Perché la ricompensa implicita standard del DPO tende ad aumentare con la lunghezza della risposta?
    • Moltiplica la ricompensa per la temperatura
    • È una somma delle differenze di probabilità di registro per token
    • Utilizza un bonus fisso per frase
    • Penalizza esplicitamente le risposte brevi
  3. In che modo SimPO affronta la distorsione della lunghezza?
    • Raddoppia il peso del modello di riferimento
    • Tronca tutte le risposte a una lunghezza fissa
    • Utilizza la probabilità di log media per token come ricompensa
    • Rimuove completamente i dati delle preferenze
  4. Una notevole differenza strutturale tra SimPO e DPO standard è che SimPO:
    • Richiede il doppio dei dati di addestramento
    • Funziona solo sulle immagini
    • Disabilita la discesa del gradiente
    • Non utilizza un modello di riferimento separato
  5. Quale pratica di valutazione aiuta a confermare un modello migliorato in termini di qualità piuttosto che solo di lunghezza?
    • Segnalazione di una percentuale di vincita controllata dalla lunghezza
    • Conteggio dei parametri totali
    • Misurazione della temperatura della GPU
    • Aumentare la dimensione del lotto
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail