Kvíz spojený s průvodcem · Těžko úroveň

Kvíz modelování permutací XLNet

Kontroluje faktorizaci permutací, pozornost dvou proudů, opakování Transformer-XL a to, jak závisí nároky na benchmark na srovnatelných nastaveních.

Související vodicí cestyXlnet permutační modelování
Otázka 1 z 8

Jaký cíl předběžného školení používá XLNet?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký cíl předběžného školení používá XLNet?
    • Permutační jazykové modelování
    • Modelování maskovaného jazyka
    • Nahrazena detekce tokenů
    • Předpovídání další věty
  2. Kterou slabinu BERT byl XLNet speciálně navržen, aby se vypořádal?
    • BERT byl příliš malý
    • Token [MASK] způsobuje nesoulad předtrénování/doladění a předpokládá nezávislost maskovaného tokenu
    • BERT nezvládl krátké věty
    • BERT postrádal poziční kódování
  3. Co odděluje dvouproudová sebepozornost XLNet?
    • Vrstvy kodéru a dekodéru
    • Tréninkové a inferenční grafy
    • Stream obsahu a stream dotazů
    • Token a vkládání vět
  4. Zamíchá XLNet fyzicky slova ve větě?
    • Ano, náhodně změní pořadí skutečných tokenů
    • Ano, ale pouze při dolaďování
    • Ne, nikdy nemění žádné pořadí
    • Ne, mění pořadí faktorizace pomocí masek pozornosti při zachování pozic
  5. Která architektura slouží jako páteř XLNet pro kontext dlouhého dosahu?
    • Transformátor-XL
    • LSTM
    • Originální vanilkový Transformer
    • Konvoluční síť
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content