Kuiz Permodelan Bahasa Bertopeng

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah tugas latihan teras dalam pemodelan bahasa bertopeng?
   • Meramalkan perkataan yang sengaja disembunyikan daripada konteks sekeliling
   • Meramal perkataan seterusnya selepas ayat
   • Menterjemah teks antara dua bahasa
   • Pemeringkatan ayat mengikut ketepatan tatabahasa
2. Kira-kira berapa peratus token yang biasanya ditutup oleh BERT semasa pralatihan?
   • Kira-kira 50%
   • Kira-kira 15%
   • Kira-kira 1%
   • Kira-kira 90%
3. Mengapakah MLM memberikan pemahaman dua hala model?
   • Ia membaca ayat ke belakang
   • Ia menggunakan dua model berasingan
   • Setiap token memperhatikan perkataan di kiri dan kanannya
   • Ia hanya melihat perkataan sebelumnya
4. Dalam skim topeng BERT, apa yang berlaku kepada kira-kira 10% daripada jawatan terpilih dan bukannya menjadi [MASK]?
   • Mereka dipadamkan sepenuhnya
   • Mereka diduakan
   • Mereka menggunakan huruf besar
   • Mereka digantikan dengan perkataan rawak
5. Pada kedudukan manakah kerugian MLM dikira?
   • Hanya posisi bertopeng
   • Setiap token dalam ayat
   • Hanya token pertama dan terakhir
   • Hanya token tanda baca
6. Berbanding dengan ramalan token seterusnya, apakah yang didagangkan oleh MLM?
   • Keupayaan untuk menggunakan konteks
   • Keupayaan untuk menjana teks lancar dari kiri ke kanan
   • Akses kepada perbendaharaan kata
   • Penggunaan perhatian
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction