Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Nucleus és Top-k mintavételi kvíz
Understand how top-k, top-p and temperature alter token sampling, and why decoding choices change generated-text behavior.
kérdés 1 -ból 8
Hogyan korlátozza a top-k mintavételezés a tokenválasztást?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Hogyan korlátozza a top-k mintavételezés a tokenválasztást?
- Csak a k legnagyobb valószínűségű tokent tartja meg, majd ezek között mintát vesz
- A tokeneket addig tartja, amíg a kumulatív valószínűség meg nem haladja a k értéket
- Mindig az egyetlen legvalószínűbb tokent választja ki
- Csak a legkevésbé valószínű tokent távolítja el
- Mi határozza meg a „magot” a mag (top-p) mintavételezésben?
- A k leggyakoribb szó az edzésadatokban
- A legkisebb tokenek halmaza, amelynek valószínűségei összege legalább p
- Az egyetlen legnagyobb valószínűségű token
- Minden token 50% feletti valószínűséggel
- Mi a top-p legfontosabb előnye a top-k-vel szemben?
- Mindig gyorsabb a számítás
- Soha nem ad ki véletlenszerű kimenetet
- A jelölt tokenek száma a modell magabiztosságához igazodik
- Figyelmen kívül hagyja a token valószínűségeket
- Mit csinál a hőmérsékleti paraméter a mintavétel előtt?
- Beállítja a sorozat maximális hosszát
- Kiválasztja a kimenet nyelvét
- Számolja a szókincs méretét
- Átskálázza a valószínűségi eloszlást élesebbre vagy laposabbra
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- Kiküszöböli a nyelvi modell szükségességét
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores