Kvíz spojený s průvodcem · Těžko úroveň

Typický vzorkový kvíz

Kontroluje typické překvapení, klasifikaci založenou na entropii, práh hmotnosti typický_p a rozdíly od pravděpodobnostního vzorkování top-p.

Související vodicí cestyTypické vzorkování
Otázka 1 z 8

S jakou základní veličinou typické vzorkování porovnává každý kandidátský token?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. S jakou základní veličinou typické vzorkování porovnává každý kandidátský token?
    • Očekávaný informační obsah (entropie) distribuce
    • Celková velikost slovní zásoby modelu
    • Pozice tokenu ve větě
    • Samotný teplotní parametr
  2. Jak typické vzorkování zachází s jedním nejpravděpodobnějším tokenem?
    • Vždy to vybere jako první
    • Může ji vyloučit, pokud je její překvapení hluboko pod očekávanou hodnotou
    • Zdvojnásobuje svou pravděpodobnost
    • Úplně ignoruje pravděpodobnost
  3. Která představa o lidském jazyce byla motivována typickým vzorkováním?
    • Lidé vždy volí ta nejvzácnější možná slova
    • Lidé nikdy neopakují slova
    • Lidé komunikují téměř stabilní rychlostí informací
    • Lidé mluví ve větách s pevnou délkou
  4. Co znamená parametr tau v typickém vzorkování?
    • Rychlost učení během tréninku
    • Počet vrstev v modelu
    • Maximální délka věty
    • Hmotnost kumulativní pravděpodobnosti shromážděná do typické množiny
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. V jakém druhu softwaru je typické vzorkování běžně vystaveno vývojářům?
    • Tabulkové aplikace
    • Open-source LLM odvozené knihovny jako Hugging Face Transformers
    • Nástroje pro úpravu obrázků
    • Databázové dotazovací stroje
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set