Kvíz spojený s průvodcem · Těžko úroveň
Typický vzorkový kvíz
Kontroluje typické překvapení, klasifikaci založenou na entropii, práh hmotnosti typický_p a rozdíly od pravděpodobnostního vzorkování top-p.
Otázka 1 z 8
S jakou základní veličinou typické vzorkování porovnává každý kandidátský token?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- S jakou základní veličinou typické vzorkování porovnává každý kandidátský token?
- Očekávaný informační obsah (entropie) distribuce
- Celková velikost slovní zásoby modelu
- Pozice tokenu ve větě
- Samotný teplotní parametr
- Jak typické vzorkování zachází s jedním nejpravděpodobnějším tokenem?
- Vždy to vybere jako první
- Může ji vyloučit, pokud je její překvapení hluboko pod očekávanou hodnotou
- Zdvojnásobuje svou pravděpodobnost
- Úplně ignoruje pravděpodobnost
- Která představa o lidském jazyce byla motivována typickým vzorkováním?
- Lidé vždy volí ta nejvzácnější možná slova
- Lidé nikdy neopakují slova
- Lidé komunikují téměř stabilní rychlostí informací
- Lidé mluví ve větách s pevnou délkou
- Co znamená parametr tau v typickém vzorkování?
- Rychlost učení během tréninku
- Počet vrstev v modelu
- Maximální délka věty
- Hmotnost kumulativní pravděpodobnosti shromážděná do typické množiny
- Compared with greedy decoding, what does typical sampling try to change?
- It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
- It always selects the most probable token
- It guarantees every continuation is factually correct
- It removes probability scores from decoding
- V jakém druhu softwaru je typické vzorkování běžně vystaveno vývojářům?
- Tabulkové aplikace
- Open-source LLM odvozené knihovny jako Hugging Face Transformers
- Nástroje pro úpravu obrázků
- Databázové dotazovací stroje
- How does typical sampling rank candidate tokens differently from top-p sampling?
- By alphabetical order of token strings
- By token position in the prompt
- By distance between token surprisal and expected surprisal, rather than probability rank alone
- By the model’s training loss
- Which value does typical_p control?
- The model’s vocabulary size
- The number of transformer layers
- The probability that the answer is factually correct
- The target cumulative probability mass collected in the typical set