Kvíz spojený s průvodcem · Střední úroveň

Nucleus a Top-k vzorkovací kvíz

Pochopte, jak top-k, top-p a teplota mění vzorkování tokenů a proč volby dekódování mění chování generovaného textu.

Související vodicí cestyNucleus A Top K Vzorkování
Otázka 1 z 8

Jak vzorkování top-k omezuje výběr tokenů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak vzorkování top-k omezuje výběr tokenů?
    • Uchovává pouze k žetonů s nejvyšší pravděpodobností a poté z nich vzorky
    • Uchovává tokeny, dokud kumulativní pravděpodobnost nepřekročí k
    • Vždy vybere jeden nejpravděpodobnější token
    • Odstraní pouze nejméně pravděpodobné tokeny
  2. Co definuje „jádro“ ve vzorkování jádra (top-p)?
    • K nejčastějších slov v trénovacích datech
    • Nejmenší sada žetonů, jejichž pravděpodobnosti součet alespoň p
    • Jediný token s nejvyšší pravděpodobností
    • Všechny tokeny s pravděpodobností nad 50 %
  3. Jaká je klíčová výhoda top-p oproti top-k?
    • Vždy je rychlejší počítat
    • Nikdy nevytváří náhodný výstup
    • Počet žetonů kandidátů se přizpůsobuje důvěře modelu
    • Ignoruje pravděpodobnosti tokenů
  4. Co dělá parametr teploty před vzorkováním?
    • Nastavuje maximální délku sekvence
    • Vybírá jazyk výstupu
    • Počítá velikost slovní zásoby
    • Změní měřítko rozdělení pravděpodobnosti tak, aby bylo ostřejší nebo plošší
  5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • Odstraňuje potřebu jazykového modelu
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores