Kvíz spojený s průvodcem · Střední úroveň
Normalizace délky v kvízu optimalizace preferencí
Zjistěte, jak cíle ladění preferencí zvládají délku odezvy, proč SimPO normalizuje skóre tokenů a jak se vyhodnocují stručné odpovědi.
Otázka 1 z 8
Jakému nežádoucímu chování má normalizace délky v DPO primárně zabránit?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakému nežádoucímu chování má normalizace délky v DPO primárně zabránit?
- Modely upřednostňující delší odezvy bez ohledu na skutečnou kvalitu
- Modelky odmítající odpovídat na otázky
- Modeluje halucinační fakta
- Modely reagují příliš pomalu
- Proč má standardní implicitní odměna DPO tendenci se zvyšovat s délkou odpovědi?
- Odměnu násobí teplotou
- Je to součet rozdílů pravděpodobnosti logu na token
- Používá fixní bonus za větu
- Krátké odpovědi výslovně penalizuje
- Jak SimPO řeší zkreslení délky?
- Zdvojnásobuje hmotnost referenčního modelu
- Zkrátí všechny odpovědi na pevnou délku
- Jako odměnu používá průměrnou pravděpodobnost logu na token
- Úplně odstraní data preferencí
- Pozoruhodný strukturální rozdíl mezi SimPO a standardním DPO je ten, že SimPO:
- Vyžaduje dvakrát tolik tréninkových dat
- Funguje pouze na obrázky
- Deaktivuje gradientní klesání
- Nepoužívá samostatný referenční model
- Který postup hodnocení pomáhá potvrdit model vylepšený spíše kvalitou než jen délkou?
- Hlášení délkou řízené míry výher
- Počítání celkových parametrů
- Měření teploty GPU
- Zvětšení velikosti dávky
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail