Útmutatóhoz kapcsolódó kvíz · Kemény Szint

XLNet permutációs modellezési kvíz

Checks permutation factorization, two-stream attention, Transformer-XL recurrence, and how benchmark claims depend on comparable settings.

Kapcsolódó útmutató utakXlnet permutációs modellezés
kérdés 1 -ból 8

Milyen edzés előtti célt használ az XLNet?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen edzés előtti célt használ az XLNet?
    • Permutációs nyelvi modellezés
    • Maszkos nyelvi modellezés
    • Csere tokenészlelés
    • A következő mondat előrejelzése
  2. Melyik BERT gyengeség kezelésére tervezték az XLNetet?
    • BERT túl kicsi volt
    • A [MASK] token előképzési/finomhangolási eltérést okoz, és maszkolt token függetlenséget feltételez
    • A BERT nem tudta kezelni a rövid mondatokat
    • A BERT-ből hiányoztak a pozíciókódolások
  3. Miben különbözik egymástól az XLNet kétfolyamos önfigyelése?
    • Kódoló és dekódoló rétegek
    • Képzési és következtetési grafikonok
    • Egy tartalomfolyam és egy lekérdezési adatfolyam
    • Token és mondat beágyazások
  4. Az XLNet fizikailag megkeveri a szavakat egy mondatban?
    • Igen, véletlenszerűen átrendezi a tényleges tokeneket
    • Igen, de csak a finomhangolás során
    • Nem, ez egyáltalán nem változtat a sorrenden
    • Nem, ez megváltoztatja a faktorizációs sorrendet figyelemmaszkokkal, miközben megtartja a pozíciókat
  5. Melyik architektúra szolgálja az XLNet gerincét a hosszú távú környezethez?
    • Transzformátor-XL
    • LSTM
    • Eredeti vanília Transformer
    • Konvolúciós hálózat
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content