Kuis Pra-Pelatihan ELECTRA

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Tugas pra-pelatihan apa yang digunakan ELECTRA alih-alih pemodelan bahasa bertopeng?
   • Deteksi token diganti
   • Prediksi kalimat berikutnya
   • Prediksi kata berikutnya autoregresif
   • Pemodelan bahasa permutasi
2. Mengapa ELECTRA lebih hemat komputasi dibandingkan BERT?
   • Ini menggunakan kosakata yang jauh lebih kecil
   • Ini menghitung sinyal pembelajaran pada semua token, bukan hanya token yang disamarkan
   • Itu hanya melatih 15% token yang disamarkan
   • Ini melewatkan mekanisme perhatian sepenuhnya
3. Apa peran jaringan generator kecil di ELECTRA?
   • Ini memberi peringkat pada hasil akhir berdasarkan kualitas
   • Ini memampatkan model setelah pelatihan
   • Ini menghasilkan token pengganti yang masuk akal untuk dinilai oleh diskriminator
   • Ini menerjemahkan teks antar bahasa
4. Apa yang terjadi pada generator setelah pra-pelatihan selesai?
   • Ini disesuaikan untuk tugas hilir
   • Itu digabungkan dengan diskriminator
   • Ini menjadi decoder untuk generasi
   • Itu dibuang; hanya diskriminator yang digunakan
5. ELECTRA dikembangkan terutama oleh peneliti dari organisasi mana?
   • Google dan Stanford
   • Meta AI dan NYU
   • OpenAI dan Microsoft
   • DeepMind dan Oxford
6. Model manakah yang kemudian memperluas gagasan deteksi token pengganti ELECTRA?
   • GPT-2
   • DeBERTa-v3
   • T5
   • Kata2Vec
7. What happens if ELECTRA’s generator proposes the original token at a position?
   • It is always labeled replaced because the generator proposed it
   • The position is removed from the input
   • That token is treated as original by the discriminator’s replaced-token label
   • The whole sequence is discarded
8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
   • Compare model names alone
   • Assume every ELECTRA run uses one fixed compute ratio
   • Ignore generator training cost
   • Specify model size, data, training budget, and evaluation setting