Kuiz Persampelan Nukleus dan Top-k

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Bagaimanakah pensampelan top-k menyekat pilihan token?
   • Ia hanya menyimpan k token kebarangkalian tertinggi, kemudian sampel antaranya
   • Ia menyimpan token sehingga kebarangkalian kumulatif melebihi k
   • Ia sentiasa memilih token tunggal yang berkemungkinan besar
   • Ia mengalih keluar token yang paling tidak berkemungkinan sahaja
2. Apakah yang mentakrifkan 'nukleus' dalam persampelan nukleus (top-p)?
   • K perkataan paling kerap dalam data latihan
   • Set token terkecil yang kebarangkaliannya berjumlah sekurang-kurangnya p
   • Token berkebarangkalian tertinggi tunggal
   • Semua token dengan kebarangkalian melebihi 50%
3. Apakah kelebihan utama top-p berbanding top-k?
   • Ia sentiasa lebih cepat untuk mengira
   • Ia tidak pernah menghasilkan output rawak
   • Bilangan token calon menyesuaikan diri dengan keyakinan model
   • Ia mengabaikan kebarangkalian token
4. Apakah yang dilakukan oleh parameter suhu sebelum pensampelan?
   • Ia menetapkan panjang jujukan maksimum
   • Ia memilih bahasa output
   • Ia mengira saiz perbendaharaan kata
   • Ia menskalakan semula taburan kebarangkalian menjadi lebih tajam atau lebih rata
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Ia menghapuskan keperluan untuk model bahasa
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores