Gids-gekoppelde quiz · Middelmatig Niveau

Nucleus en Top-k bemonsteringsquiz

Begrijp hoe top-k, top-p en temperatuur de token-sampling veranderen, en waarom decoderingskeuzes het gedrag van gegenereerde tekst veranderen.

Gerelateerde gidspadenNucleus- en Top K-bemonstering
Vraag 1 van 8

Hoe beperkt top-k-sampling tokenkeuzes?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe beperkt top-k-sampling tokenkeuzes?
    • Het bewaart alleen de k tokens met de hoogste waarschijnlijkheid en bemonstert daar vervolgens een monster van
    • Het bewaart tokens totdat de cumulatieve waarschijnlijkheid k overschrijdt
    • Er wordt altijd het meest waarschijnlijke token geselecteerd
    • Het verwijdert alleen de k minst waarschijnlijke tokens
  2. Wat definieert de 'kern' bij kernbemonstering (top-p)?
    • De k meest voorkomende woorden in trainingsgegevens
    • De kleinste set tokens waarvan de kansen opgeteld minstens p zijn
    • Het enige token met de hoogste waarschijnlijkheid
    • Alle tokens met een waarschijnlijkheid van meer dan 50%
  3. Wat is het belangrijkste voordeel van top-p ten opzichte van top-k?
    • Het is altijd sneller om te berekenen
    • Het produceert nooit willekeurige uitvoer
    • Het aantal kandidaat-tokens past zich aan het vertrouwen van het model aan
    • Het negeert token-kansen
  4. Wat doet de temperatuurparameter vóór de bemonstering?
    • Het stelt de maximale reekslengte in
    • Het selecteert de taal van de uitvoer
    • Het telt de woordenschatgrootte
    • Het herschaalt de kansverdeling zodat deze scherper of vlakker wordt
  5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • Het elimineert de noodzaak van een taalmodel
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores