Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Nucleus és Top-k mintavételi kvíz

Understand how top-k, top-p and temperature alter token sampling, and why decoding choices change generated-text behavior.

Kapcsolódó útmutató utakNucleus and Top K Mintavétel
kérdés 1 -ból 8

Hogyan korlátozza a top-k mintavételezés a tokenválasztást?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Hogyan korlátozza a top-k mintavételezés a tokenválasztást?
    • Csak a k legnagyobb valószínűségű tokent tartja meg, majd ezek között mintát vesz
    • A tokeneket addig tartja, amíg a kumulatív valószínűség meg nem haladja a k értéket
    • Mindig az egyetlen legvalószínűbb tokent választja ki
    • Csak a legkevésbé valószínű tokent távolítja el
  2. Mi határozza meg a „magot” a mag (top-p) mintavételezésben?
    • A k leggyakoribb szó az edzésadatokban
    • A legkisebb tokenek halmaza, amelynek valószínűségei összege legalább p
    • Az egyetlen legnagyobb valószínűségű token
    • Minden token 50% feletti valószínűséggel
  3. Mi a top-p legfontosabb előnye a top-k-vel szemben?
    • Mindig gyorsabb a számítás
    • Soha nem ad ki véletlenszerű kimenetet
    • A jelölt tokenek száma a modell magabiztosságához igazodik
    • Figyelmen kívül hagyja a token valószínűségeket
  4. Mit csinál a hőmérsékleti paraméter a mintavétel előtt?
    • Beállítja a sorozat maximális hosszát
    • Kiválasztja a kimenet nyelvét
    • Számolja a szókincs méretét
    • Átskálázza a valószínűségi eloszlást élesebbre vagy laposabbra
  5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • Kiküszöböli a nyelvi modell szükségességét
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores