Kuis terkait panduan · Keras Tingkat

Kuis Pemodelan Permutasi XLNet

Memeriksa faktorisasi permutasi, perhatian dua aliran, pengulangan Transformer-XL, dan bagaimana klaim benchmark bergantung pada pengaturan yang sebanding.

Jalur panduan terkaitPemodelan Permutasi Xlnet
Pertanyaan 1 dari 8

Tujuan prapelatihan apa yang digunakan XLNet?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Tujuan prapelatihan apa yang digunakan XLNet?
    • Pemodelan bahasa permutasi
    • Pemodelan bahasa bertopeng
    • Deteksi token diganti
    • Prediksi kalimat berikutnya
  2. Kelemahan BERT manakah yang dirancang khusus untuk diatasi oleh XLNet?
    • BERT terlalu kecil
    • Token [MASK] menyebabkan ketidakcocokan pra-pelatihan/penyempurnaan dan mengasumsikan independensi token bertopeng
    • BERT tidak bisa menangani kalimat pendek
    • BERT tidak memiliki pengkodean posisi
  3. Apa yang memisahkan perhatian mandiri dua aliran XLNet?
    • Lapisan encoder dan decoder
    • Grafik pelatihan dan inferensi
    • Aliran konten dan aliran kueri
    • Penyematan token dan kalimat
  4. Apakah XLNet secara fisik mengacak kata-kata dalam sebuah kalimat?
    • Ya, itu secara acak menyusun ulang token yang sebenarnya
    • Ya, tapi hanya selama fine-tuning
    • Tidak, itu tidak pernah mengubah urutan apa pun sama sekali
    • Tidak, ini mengubah urutan faktorisasi menggunakan masker perhatian sambil mempertahankan posisi
  5. Arsitektur manakah yang menjadi tulang punggung XLNet untuk konteks jangka panjang?
    • Transformator-XL
    • LSTM
    • Transformator vanila asli
    • Jaringan konvolusional
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content