Útmutatóhoz kapcsolódó kvíz · Kemény Szint
XLNet permutációs modellezési kvíz
Checks permutation factorization, two-stream attention, Transformer-XL recurrence, and how benchmark claims depend on comparable settings.
kérdés 1 -ból 8
Milyen edzés előtti célt használ az XLNet?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen edzés előtti célt használ az XLNet?
- Permutációs nyelvi modellezés
- Maszkos nyelvi modellezés
- Csere tokenészlelés
- A következő mondat előrejelzése
- Melyik BERT gyengeség kezelésére tervezték az XLNetet?
- BERT túl kicsi volt
- A [MASK] token előképzési/finomhangolási eltérést okoz, és maszkolt token függetlenséget feltételez
- A BERT nem tudta kezelni a rövid mondatokat
- A BERT-ből hiányoztak a pozíciókódolások
- Miben különbözik egymástól az XLNet kétfolyamos önfigyelése?
- Kódoló és dekódoló rétegek
- Képzési és következtetési grafikonok
- Egy tartalomfolyam és egy lekérdezési adatfolyam
- Token és mondat beágyazások
- Az XLNet fizikailag megkeveri a szavakat egy mondatban?
- Igen, véletlenszerűen átrendezi a tényleges tokeneket
- Igen, de csak a finomhangolás során
- Nem, ez egyáltalán nem változtat a sorrenden
- Nem, ez megváltoztatja a faktorizációs sorrendet figyelemmaszkokkal, miközben megtartja a pozíciókat
- Melyik architektúra szolgálja az XLNet gerincét a hosszú távú környezethez?
- Transzformátor-XL
- LSTM
- Eredeti vanília Transformer
- Konvolúciós hálózat
- How does XLNet combine bidirectional context with autoregressive prediction?
- It predicts all tokens independently with no attention mask
- It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
- It physically shuffles the sentence before every prediction
- It replaces autoregressive prediction with a denoising autoencoder
- For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
- The tokens A and B must always be provided first
- Only the next sentence is available
- No earlier tokens in that sampled order, although C remains at its original input position
- The input sequence is physically reordered to C A B
- How does XLNet prevent the target token from leaking into its own prediction query?
- It removes the target from the entire training sequence
- It uses the target’s label as an input embedding
- It replaces the token with a [MASK] symbol
- The query stream represents the target position without its token content