Kuis Pemodelan Bahasa Bertopeng

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tugas pelatihan inti dalam pemodelan bahasa bertopeng?
   • Memprediksi kata-kata yang sengaja disembunyikan dari konteks sekitar
   • Memprediksi kata berikutnya setelah kalimat
   • Menerjemahkan teks antara dua bahasa
   • Memberi peringkat kalimat berdasarkan kebenaran tata bahasa
2. Kira-kira berapa persentase token yang biasanya disamarkan BERT selama pra-pelatihan?
   • Sekitar 50%
   • Sekitar 15%
   • Sekitar 1%
   • Sekitar 90%
3. Mengapa MLM memberikan model pemahaman dua arah?
   • Bunyinya kalimat terbalik
   • Ini menggunakan dua model terpisah
   • Setiap token memperhatikan kata-kata di kiri dan kanannya
   • Itu hanya melihat kata sebelumnya
4. Dalam skema masking BERT, apa yang terjadi pada sekitar 10% posisi terpilih alih-alih menjadi [MASK]?
   • Mereka dihapus seluruhnya
   • Mereka diduplikasi
   • Mereka dikapitalisasi
   • Mereka diganti dengan kata acak
5. Di posisi manakah kerugian MLM dihitung?
   • Hanya posisi bertopeng
   • Setiap token dalam kalimat
   • Hanya token pertama dan terakhir
   • Hanya token tanda baca
6. Dibandingkan dengan prediksi token berikutnya, apa yang dipertukarkan MLM?
   • Kemampuan untuk menggunakan konteks
   • Kemampuan untuk menghasilkan teks yang lancar dari kiri ke kanan
   • Akses ke kosakata
   • Penggunaan perhatian
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction