Kuiz berkaitan panduan · Keras Tahap

Kuiz Permodelan Permutasi XLNet

Menyemak pemfaktoran pilih atur, perhatian dua aliran, pengulangan Transformer-XL dan cara tuntutan penanda aras bergantung pada tetapan yang setanding.

Laluan panduan yang berkaitanPemodelan Pilihatur Xlnet
soalan 1 daripada 8

Apakah objektif pralatihan yang XLNet gunakan?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah objektif pralatihan yang XLNet gunakan?
    • Permutasi pemodelan bahasa
    • Pemodelan bahasa bertopeng
    • Pengesanan token diganti
    • Ramalan ayat seterusnya
  2. Kelemahan BERT manakah yang direka khusus untuk ditangani oleh XLNet?
    • BERT terlalu kecil
    • Token [MASK] menyebabkan ketidakpadanan pralatihan/penalaan halus dan menganggap kebebasan token bertopeng
    • BERT tidak dapat mengendalikan ayat pendek
    • BERT kekurangan pengekodan kedudukan
  3. Apakah yang dipisahkan oleh perhatian kendiri dua aliran XLNet?
    • Lapisan pengekod dan penyahkod
    • Graf latihan dan inferens
    • Strim kandungan dan strim pertanyaan
    • Benam token dan ayat
  4. Adakah XLNet secara fizikal merombak perkataan dalam ayat?
    • Ya, ia menyusun semula token sebenar secara rawak
    • Ya, tetapi hanya semasa penalaan halus
    • Tidak, ia tidak pernah mengubah sebarang pesanan sama sekali
    • Tidak, ia mengubah susunan pemfaktoran menggunakan topeng perhatian sambil mengekalkan kedudukan
  5. Seni bina yang manakah berfungsi sebagai tulang belakang XLNet untuk konteks jarak jauh?
    • Transformer-XL
    • LSTM
    • Transformer vanila asli
    • Rangkaian konvolusi
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content