Kvíz spojený s průvodcem · Střední úroveň

Kontrastivní dekódovací kvíz

Testuje expertně-amatérské skórování, potlačení sdílených tokenů, filtrování věrohodnosti, použití doby dekódování a vyhodnocení generování kontrastu.

Související vodicí cestyKontrastivní dekódování
Otázka 1 z 8

Jakou roli hraje v kontrastivním dekódování malý „amatérský“ model?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou roli hraje v kontrastivním dekódování malý „amatérský“ model?
    • Jeho logaritmické pravděpodobnosti se odečítají, aby se potlačily sdílené režimy selhání
    • Přímo generuje výsledný výstupní text
    • Je doladěn na chybách odborníka
    • Nahrazuje odborníka, když si odborník není jistý
  2. Proč odečítání amatérových pravděpodobností snižuje opakování a nevýrazný výstup?
    • Amatér je vycvičen nikdy neopakovat slova
    • Obecné a opakující se tokeny jsou upřednostňovány oběma modely, takže je kontrast ruší
    • Amatér po vygenerování smaže duplicitní tokeny
    • Opakování je nemožné, jakmile hlasují dva modely
  3. What does the adaptive plausibility constraint do in contrastive decoding?
    • It guarantees every remaining continuation is coherent and true
    • It replaces the expert distribution with the amateur distribution
    • It filters out candidates whose expert probability is too low relative to the expert’s top token
    • It forces every token to have equal probability
  4. Jaký je zhruba vzorec hodnocení v kontrastivním dekódování?
    • log p_amatér mínus log p_expert
    • p_expert krát p_amatér
    • Průměr dvou pravděpodobností
    • log p_expert mínus koeficient krát log p_amatér
  5. Klíčovou praktickou výhodou kontrastního dekódování je, že:
    • Funguje v inferenčním čase bez dalšího školení
    • Vyžaduje rekvalifikaci obou modelů společně
    • Pracuje pouze na klasifikačních úkolech
    • Eliminuje potřebu velkého modelu
  6. Která pozdější metoda rozšiřuje kontrastní myšlenku na vlastní vrstvy jediného modelu?
    • Hledání paprskem
    • DoLa, která kontrastuje rané a pozdní vrstvy
    • Chamtivé dekódování
    • Teplotní škálování
  7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
    • 0,4
    • 0,1
    • 0.04
    • 0.004
  8. Why can contrastive decoding require more inference work than using the expert model alone?
    • It must retrain both models for every prompt
    • It replaces the vocabulary with image patches
    • It runs only the amateur model
    • It scores candidates with both an expert and an amateur model at inference time