Quiz collegato alla guida · Medio Livello
Normalizzazione della lunghezza nel quiz sull'ottimizzazione delle preferenze
Esamina come gli obiettivi di ottimizzazione delle preferenze gestiscono la lunghezza della risposta, perché SimPO normalizza i punteggi dei token e come vengono valutate le risposte concise.
Domanda 1 di 8
Quale comportamento indesiderato mira principalmente a prevenire la normalizzazione della lunghezza nel DPO?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale comportamento indesiderato mira principalmente a prevenire la normalizzazione della lunghezza nel DPO?
- Modelli che favoriscono risposte più lunghe indipendentemente dalla qualità effettiva
- Modelle che si rifiutano di rispondere alle domande
- Modella fatti allucinanti
- I modelli rispondono troppo lentamente
- Perché la ricompensa implicita standard del DPO tende ad aumentare con la lunghezza della risposta?
- Moltiplica la ricompensa per la temperatura
- È una somma delle differenze di probabilità di registro per token
- Utilizza un bonus fisso per frase
- Penalizza esplicitamente le risposte brevi
- In che modo SimPO affronta la distorsione della lunghezza?
- Raddoppia il peso del modello di riferimento
- Tronca tutte le risposte a una lunghezza fissa
- Utilizza la probabilità di log media per token come ricompensa
- Rimuove completamente i dati delle preferenze
- Una notevole differenza strutturale tra SimPO e DPO standard è che SimPO:
- Richiede il doppio dei dati di addestramento
- Funziona solo sulle immagini
- Disabilita la discesa del gradiente
- Non utilizza un modello di riferimento separato
- Quale pratica di valutazione aiuta a confermare un modello migliorato in termini di qualità piuttosto che solo di lunghezza?
- Segnalazione di una percentuale di vincita controllata dalla lunghezza
- Conteggio dei parametri totali
- Misurazione della temperatura della GPU
- Aumentare la dimensione del lotto
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail