Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pralatihan ELECTRA

Menjelaskan peranan pengesanan token diganti, penjana dan diskriminator, pembelajaran merentas kedudukan token dan had perbandingan pengiraan.

Laluan panduan yang berkaitanPralatihan Electra
soalan 1 daripada 8

Apakah tugas pralatihan yang ELECTRA gunakan dan bukannya pemodelan bahasa bertopeng?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah tugas pralatihan yang ELECTRA gunakan dan bukannya pemodelan bahasa bertopeng?
    • Pengesanan token diganti
    • Ramalan ayat seterusnya
    • Ramalan perkataan seterusnya autoregresif
    • Permutasi pemodelan bahasa
  2. Mengapakah ELECTRA lebih cekap pengiraan daripada BERT?
    • Ia menggunakan perbendaharaan kata yang lebih kecil
    • Ia mengira isyarat pembelajaran ke atas semua token, bukan hanya yang bertopeng
    • Ia hanya melatih pada 15% token bertopeng
    • Ia melangkau mekanisme perhatian sepenuhnya
  3. Apakah peranan yang dimainkan oleh rangkaian penjana kecil dalam ELECTRA?
    • Ia meletakkan kedudukan keluaran akhir mengikut kualiti
    • Ia memampatkan model selepas latihan
    • Ia menghasilkan token gantian yang munasabah untuk dinilai oleh diskriminasi
    • Ia menterjemah teks antara bahasa
  4. Apakah yang berlaku kepada penjana selepas pralatihan selesai?
    • Ia diperhalusi untuk tugas hiliran
    • Ia digabungkan dengan diskriminasi
    • Ia menjadi penyahkod untuk penjanaan
    • Ia dibuang; hanya diskriminasi digunakan
  5. ELECTRA dibangunkan terutamanya oleh penyelidik dari organisasi mana?
    • Google dan Stanford
    • Meta AI dan NYU
    • OpenAI dan Microsoft
    • DeepMind dan Oxford
  6. Model kemudian yang manakah memanjangkan idea pengesanan-token-digantikan ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting