Kuis Penalti Pengulangan dan Kontrol Decoding

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa pengaruh menaikkan parameter 'suhu' terhadap keluaran model?
   • Menjadikannya lebih acak dan beragam
   • Menjadikannya lebih deterministik dan fokus
   • Mengubah bobot model secara permanen
   • Mempercepat generasi
2. Bagaimana pengambilan sampel top-p (inti) memutuskan token mana yang akan dipertimbangkan?
   • Itu menyimpan sejumlah token terlepas dari kemungkinannya
   • Itu menyimpan kumpulan token terkecil yang probabilitasnya mencapai ambang batas
   • Itu hanya menyimpan satu token yang paling mungkin
   • Itu menyimpan token dengan probabilitas di atas 50%
3. Pada tahap apa hukuman pengulangan biasanya berlaku?
   • Pada teks mentah setelah generasi
   • Pada data pelatihan
   • Pada logit sebelum softmax
   • Tentang kosakata tokenizer
4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
   • Skala penalti kehadiran dengan jumlah token; penalti frekuensi tetap
   • Mereka identik
   • Keduanya hanya berlaku untuk token pertama
   • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
5. For code completion where deterministic sampling is desired, which setting best matches the guide?
   • Suhu mendekati nol
   • Suhu yang sangat tinggi
   • Hukuman pengulangan tinggi di atas 2.0
   • Top-p 1,0 dengan suhu tinggi
6. Apa yang dilakukan pengambilan sampel top-k?
   • Menyimpan token dengan jumlah probabilitas k
   • Hanya menyimpan k token yang paling mungkin sebagai kandidat
   • Kalikan semua logit dengan k
   • Menghapus k token yang paling kecil kemungkinannya dari pelatihan
7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
   • It sets every repeated-token logit to zero
   • It adds the penalty to every token equally
   • It divides a positive logit by the penalty and multiplies a negative logit by it
   • It removes the token from the vocabulary permanently
8. How does top-k differ from top-p sampling?
   • Top-k uses cumulative probability while top-p fixes a count
   • Top-k changes model weights while top-p changes the tokenizer
   • They are both deterministic decoding methods
   • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set