Test legat de ghid · Mediu Nivel

Normalizarea lungimii în testul de optimizare a preferințelor

Examine how preference-tuning objectives handle response length, why SimPO normalizes token scores, and how concise answers are evaluated.

Căi de ghidare aferenteNormalizarea lungimii în Optimizarea preferințelor
Întrebare 1 de 8

Ce comportament nedorit își propune în principal să prevină normalizarea lungimii în DPO?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce comportament nedorit își propune în principal să prevină normalizarea lungimii în DPO?
    • Modele care favorizează răspunsuri mai lungi, indiferent de calitatea reală
    • Modele care refuză să răspundă la întrebări
    • Modelează fapte halucinante
    • Modelele răspund prea încet
  2. De ce recompensa implicită standard a DPO tinde să crească odată cu durata răspunsului?
    • Înmulțește recompensa cu temperatură
    • Este o sumă a diferențelor de probabilitate de jurnal per-token
    • Utilizează un bonus fix pe propoziție
    • Penalizează în mod explicit răspunsurile scurte
  3. Cum abordează SimPO distorsiunea de lungime?
    • Dublează greutatea modelului de referință
    • Trunchiază toate răspunsurile la o lungime fixă
    • Utilizează probabilitatea medie de jurnal per-token ca recompensă
    • Îndepărtează complet datele de preferințe
  4. O diferență structurală notabilă între SimPO și DPO standard este că SimPO:
    • Necesită de două ori mai multe date de antrenament
    • Funcționează doar pe imagini
    • Dezactivează coborârea în gradient
    • Nu utilizează un model de referință separat
  5. Ce practică de evaluare ajută la confirmarea unui model îmbunătățit în calitate, mai degrabă decât în lungime?
    • Raportarea unei rate de câștig controlată pe lungime
    • Numărarea parametrilor totali
    • Măsurarea temperaturii GPU
    • Creșterea dimensiunii lotului
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail