Kvíz spojený s průvodcem · Střední úroveň

Normalizace délky v kvízu optimalizace preferencí

Zjistěte, jak cíle ladění preferencí zvládají délku odezvy, proč SimPO normalizuje skóre tokenů a jak se vyhodnocují stručné odpovědi.

Otázka 1 z 8

Jakému nežádoucímu chování má normalizace délky v DPO primárně zabránit?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakému nežádoucímu chování má normalizace délky v DPO primárně zabránit?
    • Modely upřednostňující delší odezvy bez ohledu na skutečnou kvalitu
    • Modelky odmítající odpovídat na otázky
    • Modeluje halucinační fakta
    • Modely reagují příliš pomalu
  2. Proč má standardní implicitní odměna DPO tendenci se zvyšovat s délkou odpovědi?
    • Odměnu násobí teplotou
    • Je to součet rozdílů pravděpodobnosti logu na token
    • Používá fixní bonus za větu
    • Krátké odpovědi výslovně penalizuje
  3. Jak SimPO řeší zkreslení délky?
    • Zdvojnásobuje hmotnost referenčního modelu
    • Zkrátí všechny odpovědi na pevnou délku
    • Jako odměnu používá průměrnou pravděpodobnost logu na token
    • Úplně odstraní data preferencí
  4. Pozoruhodný strukturální rozdíl mezi SimPO a standardním DPO je ten, že SimPO:
    • Vyžaduje dvakrát tolik tréninkových dat
    • Funguje pouze na obrázky
    • Deaktivuje gradientní klesání
    • Nepoužívá samostatný referenční model
  5. Který postup hodnocení pomáhá potvrdit model vylepšený spíše kvalitou než jen délkou?
    • Hlášení délkou řízené míry výher
    • Počítání celkových parametrů
    • Měření teploty GPU
    • Zvětšení velikosti dávky
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail