Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Hossz normalizálása a preferenciaoptimalizálási kvízben
Examine how preference-tuning objectives handle response length, why SimPO normalizes token scores, and how concise answers are evaluated.
kérdés 1 -ból 8
Milyen nemkívánatos viselkedést céloz elsősorban az adatvédelmi tisztviselő hossznormalizálása?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen nemkívánatos viselkedést céloz elsősorban az adatvédelmi tisztviselő hossznormalizálása?
- A tényleges minőségtől függetlenül a hosszabb válaszadást előnyben részesítő modellek
- Modellek, akik nem hajlandók válaszolni a kérdésekre
- A modellek hallucinálnak tényeket
- A modellek túl lassan reagálnak
- Miért nő a szokásos adatvédelmi tisztviselő implicit jutalma a válasz hosszával?
- A jutalmat megszorozza a hőmérséklettel
- Ez a tokenenkénti log-valószínűségi különbségek összege
- Fix bónuszt használ mondatonként
- A rövid válaszokat kifejezetten bünteti
- Hogyan kezeli a SimPO a hossz-eltolódást?
- Megduplázza a referenciamodell súlyát
- Az összes választ meghatározott hosszúságúra csonkolja
- Jutalomként az átlagos tokenenkénti log-valószínűséget használja
- Teljesen eltávolítja a preferencia adatokat
- Figyelemre méltó szerkezeti különbség a SimPO és a standard DPO között, hogy a SimPO:
- Kétszer annyi edzésadatot igényel
- Csak képeken működik
- Letiltja a gradiens süllyedést
- Nem használ külön referenciamodellt
- Melyik értékelési gyakorlat segít megerősíteni, hogy a modell minősége jobb, nem csupán hosszúság?
- Hosszvezérelt nyerési arány jelentése
- Összes paraméter számolása
- GPU hőmérséklet mérés
- A tétel méretének növelése
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail