Kuis Resep Pelatihan RoBERTa

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa wawasan utama RoBERTa tentang BERT asli?
   • Arsitektur BERT pada dasarnya memiliki kelemahan
   • BERT menggunakan terlalu banyak parameter
   • BERT kurang terlatih secara signifikan
   • BERT membutuhkan tambahan dekoder
2. Tujuan BERT manakah yang dihapus oleh RoBERTa?
   • Prediksi kalimat berikutnya
   • Pemodelan bahasa bertopeng
   • Klasifikasi token
   • Deteksi token diganti
3. Apa itu penyembunyian dinamis di RoBERTa?
   • Hanya menutupi kata-kata yang paling langka dalam korpus
   • Menutupi seluruh kalimat sekaligus
   • Jangan pernah menutupi token yang sama dua kali dalam satu korpus
   • Menghasilkan pola topeng baru setiap kali urutan terlihat
4. Bagaimana data pelatihan RoBERTa dibandingkan dengan BERT?
   • Itu menggunakan teks 16GB yang sama
   • Ini menggunakan sekitar 160GB, sekitar 10x lebih banyak
   • Ini menggunakan lebih sedikit data tetapi label yang lebih bersih
   • Itu hanya menggunakan Wikipedia
5. Organisasi manakah yang merilis RoBERTa?
   • AI Facebook (Meta)
   • AI Google
   • OpenAI
   • Microsoft Penelitian
6. Apa nama RoBERTa versi multibahasa?
   • mBERT
   • RoBERTa-XL
   • XLM-R (XLM-RoBERTa)
   • PoliRoBERTa
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models