Kvíz spojený s průvodcem · Těžko úroveň
Kvíz modelování permutací XLNet
Kontroluje faktorizaci permutací, pozornost dvou proudů, opakování Transformer-XL a to, jak závisí nároky na benchmark na srovnatelných nastaveních.
Otázka 1 z 8
Jaký cíl předběžného školení používá XLNet?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký cíl předběžného školení používá XLNet?
- Permutační jazykové modelování
- Modelování maskovaného jazyka
- Nahrazena detekce tokenů
- Předpovídání další věty
- Kterou slabinu BERT byl XLNet speciálně navržen, aby se vypořádal?
- BERT byl příliš malý
- Token [MASK] způsobuje nesoulad předtrénování/doladění a předpokládá nezávislost maskovaného tokenu
- BERT nezvládl krátké věty
- BERT postrádal poziční kódování
- Co odděluje dvouproudová sebepozornost XLNet?
- Vrstvy kodéru a dekodéru
- Tréninkové a inferenční grafy
- Stream obsahu a stream dotazů
- Token a vkládání vět
- Zamíchá XLNet fyzicky slova ve větě?
- Ano, náhodně změní pořadí skutečných tokenů
- Ano, ale pouze při dolaďování
- Ne, nikdy nemění žádné pořadí
- Ne, mění pořadí faktorizace pomocí masek pozornosti při zachování pozic
- Která architektura slouží jako páteř XLNet pro kontext dlouhého dosahu?
- Transformátor-XL
- LSTM
- Originální vanilkový Transformer
- Konvoluční síť
- How does XLNet combine bidirectional context with autoregressive prediction?
- It predicts all tokens independently with no attention mask
- It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
- It physically shuffles the sentence before every prediction
- It replaces autoregressive prediction with a denoising autoencoder
- For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
- The tokens A and B must always be provided first
- Only the next sentence is available
- No earlier tokens in that sampled order, although C remains at its original input position
- The input sequence is physically reordered to C A B
- How does XLNet prevent the target token from leaking into its own prediction query?
- It removes the target from the entire training sequence
- It uses the target’s label as an input embedding
- It replaces the token with a [MASK] symbol
- The query stream represents the target position without its token content