Quiz dotyczący próbkowania jądra i góry-k

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W jaki sposób próbkowanie top-k ogranicza wybór tokenów?
   • Zatrzymuje tylko k żetonów o najwyższym prawdopodobieństwie, a następnie wybiera spośród nich próbki
   • Przechowuje żetony, dopóki skumulowane prawdopodobieństwo nie przekroczy k
   • Zawsze wybiera pojedynczy, najbardziej prawdopodobny token
   • Usuwa tylko k najmniej prawdopodobnych żetonów
2. Co definiuje „jądro” w próbkowaniu jądra (góra-p)?
   • K najczęściej występujących słów w danych szkoleniowych
   • Najmniejszy zestaw żetonów, których prawdopodobieństwa sumują się co najmniej p
   • Pojedynczy token o najwyższym prawdopodobieństwie
   • Wszystkie tokeny z prawdopodobieństwem powyżej 50%
3. Jaka jest kluczowa przewaga top-p nad top-k?
   • Obliczenia są zawsze szybsze
   • Nigdy nie generuje losowych wyników
   • Liczba żetonów kandydatów dostosowuje się do zaufania modelu
   • Ignoruje prawdopodobieństwa symboliczne
4. Do czego służy parametr temperatury przed pobraniem próbki?
   • Ustawia maksymalną długość sekwencji
   • Wybiera język wyjściowy
   • Liczy się wielkość słownictwa
   • Przeskalowuje rozkład prawdopodobieństwa tak, aby był ostrzejszy lub bardziej płaski
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Eliminuje potrzebę stosowania modelu językowego
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores