Gids-gekoppelde quiz · Middelmatig Niveau
Nucleus en Top-k bemonsteringsquiz
Begrijp hoe top-k, top-p en temperatuur de token-sampling veranderen, en waarom decoderingskeuzes het gedrag van gegenereerde tekst veranderen.
Vraag 1 van 8
Hoe beperkt top-k-sampling tokenkeuzes?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe beperkt top-k-sampling tokenkeuzes?
- Het bewaart alleen de k tokens met de hoogste waarschijnlijkheid en bemonstert daar vervolgens een monster van
- Het bewaart tokens totdat de cumulatieve waarschijnlijkheid k overschrijdt
- Er wordt altijd het meest waarschijnlijke token geselecteerd
- Het verwijdert alleen de k minst waarschijnlijke tokens
- Wat definieert de 'kern' bij kernbemonstering (top-p)?
- De k meest voorkomende woorden in trainingsgegevens
- De kleinste set tokens waarvan de kansen opgeteld minstens p zijn
- Het enige token met de hoogste waarschijnlijkheid
- Alle tokens met een waarschijnlijkheid van meer dan 50%
- Wat is het belangrijkste voordeel van top-p ten opzichte van top-k?
- Het is altijd sneller om te berekenen
- Het produceert nooit willekeurige uitvoer
- Het aantal kandidaat-tokens past zich aan het vertrouwen van het model aan
- Het negeert token-kansen
- Wat doet de temperatuurparameter vóór de bemonstering?
- Het stelt de maximale reekslengte in
- Het selecteert de taal van de uitvoer
- Het telt de woordenschatgrootte
- Het herschaalt de kansverdeling zodat deze scherper of vlakker wordt
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- Het elimineert de noodzaak van een taalmodel
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores