Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Hossz normalizálása a preferenciaoptimalizálási kvízben

Examine how preference-tuning objectives handle response length, why SimPO normalizes token scores, and how concise answers are evaluated.

kérdés 1 -ból 8

Milyen nemkívánatos viselkedést céloz elsősorban az adatvédelmi tisztviselő hossznormalizálása?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen nemkívánatos viselkedést céloz elsősorban az adatvédelmi tisztviselő hossznormalizálása?
    • A tényleges minőségtől függetlenül a hosszabb válaszadást előnyben részesítő modellek
    • Modellek, akik nem hajlandók válaszolni a kérdésekre
    • A modellek hallucinálnak tényeket
    • A modellek túl lassan reagálnak
  2. Miért nő a szokásos adatvédelmi tisztviselő implicit jutalma a válasz hosszával?
    • A jutalmat megszorozza a hőmérséklettel
    • Ez a tokenenkénti log-valószínűségi különbségek összege
    • Fix bónuszt használ mondatonként
    • A rövid válaszokat kifejezetten bünteti
  3. Hogyan kezeli a SimPO a hossz-eltolódást?
    • Megduplázza a referenciamodell súlyát
    • Az összes választ meghatározott hosszúságúra csonkolja
    • Jutalomként az átlagos tokenenkénti log-valószínűséget használja
    • Teljesen eltávolítja a preferencia adatokat
  4. Figyelemre méltó szerkezeti különbség a SimPO és a standard DPO között, hogy a SimPO:
    • Kétszer annyi edzésadatot igényel
    • Csak képeken működik
    • Letiltja a gradiens süllyedést
    • Nem használ külön referenciamodellt
  5. Melyik értékelési gyakorlat segít megerősíteni, hogy a modell minősége jobb, nem csupán hosszúság?
    • Hosszvezérelt nyerési arány jelentése
    • Összes paraméter számolása
    • GPU hőmérséklet mérés
    • A tétel méretének növelése
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail