Kvíz spojený s průvodcem · Střední úroveň
Kontrastivní dekódovací kvíz
Testuje expertně-amatérské skórování, potlačení sdílených tokenů, filtrování věrohodnosti, použití doby dekódování a vyhodnocení generování kontrastu.
Otázka 1 z 8
Jakou roli hraje v kontrastivním dekódování malý „amatérský“ model?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou roli hraje v kontrastivním dekódování malý „amatérský“ model?
- Jeho logaritmické pravděpodobnosti se odečítají, aby se potlačily sdílené režimy selhání
- Přímo generuje výsledný výstupní text
- Je doladěn na chybách odborníka
- Nahrazuje odborníka, když si odborník není jistý
- Proč odečítání amatérových pravděpodobností snižuje opakování a nevýrazný výstup?
- Amatér je vycvičen nikdy neopakovat slova
- Obecné a opakující se tokeny jsou upřednostňovány oběma modely, takže je kontrast ruší
- Amatér po vygenerování smaže duplicitní tokeny
- Opakování je nemožné, jakmile hlasují dva modely
- What does the adaptive plausibility constraint do in contrastive decoding?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- Jaký je zhruba vzorec hodnocení v kontrastivním dekódování?
- log p_amatér mínus log p_expert
- p_expert krát p_amatér
- Průměr dvou pravděpodobností
- log p_expert mínus koeficient krát log p_amatér
- Klíčovou praktickou výhodou kontrastního dekódování je, že:
- Funguje v inferenčním čase bez dalšího školení
- Vyžaduje rekvalifikaci obou modelů společně
- Pracuje pouze na klasifikačních úkolech
- Eliminuje potřebu velkého modelu
- Která pozdější metoda rozšiřuje kontrastní myšlenku na vlastní vrstvy jediného modelu?
- Hledání paprskem
- DoLa, která kontrastuje rané a pozdní vrstvy
- Chamtivé dekódování
- Teplotní škálování
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0,4
- 0,1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time