Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Tipikus mintavételi kvíz
Checks typical surprisal, entropy-based ranking, the typical_p mass threshold, and differences from probability-ranked top-p sampling.
kérdés 1 -ból 8
A tipikus mintavétel milyen magmennyiséggel hasonlítja össze az egyes jelöltek tokent?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A tipikus mintavétel milyen magmennyiséggel hasonlítja össze az egyes jelöltek tokent?
- Az eloszlás várható információtartalma (entrópiája).
- A modell általános szókincsének mérete
- A token helyzete a mondatban
- Egyedül a hőmérsékleti paraméter
- Hogyan kezeli a tipikus mintavétel az egyetlen legvalószínűbb tokent?
- Mindig először választja ki
- Kizárhatja, ha meglepetése messze elmarad a várt értéktől
- Megduplázza a valószínűségét
- Teljesen figyelmen kívül hagyja a valószínűséget
- Melyik emberi nyelvről szóló elképzelés motiválta a tipikus mintavételt?
- Az emberek mindig a lehető legritkább szavakat választják
- Az emberek soha nem ismételnek szavakat
- Az emberek nagyjából egyenletes információsebességgel kommunikálnak
- Az emberek meghatározott hosszúságú mondatokban beszélnek
- Mit jelent a tau paraméter a tipikus mintavételi vezérlésben?
- A tanulási sebesség edzés közben
- A modellben lévő rétegek száma
- Maximális mondathossz
- A tipikus halmazba gyűjtött kumulatív valószínűségi tömeg
- Compared with greedy decoding, what does typical sampling try to change?
- It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
- It always selects the most probable token
- It guarantees every continuation is factually correct
- It removes probability scores from decoding
- Milyen típusú szoftverek esetében érhető el a tipikus mintavételezés a fejlesztők számára?
- Táblázatkezelő alkalmazások
- Nyílt forráskódú LLM következtetési könyvtárak, mint például a Hugging Face Transformers
- Képszerkesztő eszközök
- Adatbázis lekérdező motorok
- How does typical sampling rank candidate tokens differently from top-p sampling?
- By alphabetical order of token strings
- By token position in the prompt
- By distance between token surprisal and expected surprisal, rather than probability rank alone
- By the model’s training loss
- Which value does typical_p control?
- The model’s vocabulary size
- The number of transformer layers
- The probability that the answer is factually correct
- The target cumulative probability mass collected in the typical set