Gids-gekoppelde quiz · Moeilijk Niveau
XLNet-permutatiemodelleringsquiz
Controleert permutatiefactorisatie, aandacht voor twee stromen, herhaling van Transformer-XL en hoe benchmarkclaims afhankelijk zijn van vergelijkbare instellingen.
Vraag 1 van 8
Welk voortrainingsdoel gebruikt XLNet?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk voortrainingsdoel gebruikt XLNet?
- Permutatie taalmodellering
- Gemaskerde taalmodellering
- Tokendetectie vervangen
- Voorspelling van de volgende zin
- Welke BERT-zwakte is XLNet specifiek ontworpen om aan te pakken?
- BERT was te klein
- Het [MASK]-token veroorzaakt een mismatch tussen pretrain/fine-tune en gaat uit van de onafhankelijkheid van het gemaskeerde token
- BERT kon niet tegen korte zinnen
- BERT miste positionele coderingen
- Wat scheidt de twee-stream zelf-aandacht van XLNet?
- Encoder- en decoderlagen
- Trainings- en gevolgtrekkingsgrafieken
- Een inhoudsstream en een querystream
- Token- en zininsluitingen
- Schudt XLNet de woorden in een zin fysiek?
- Ja, het herschikt willekeurig de daadwerkelijke tokens
- Ja, maar alleen tijdens het afstemmen
- Nee, er verandert nooit een bestelling
- Nee, het permuteert de factorisatievolgorde met behulp van aandachtsmaskers terwijl de posities behouden blijven
- Welke architectuur dient als de ruggengraat van XLNet voor langeafstandscontext?
- Transformator-XL
- LSTM
- Originele vanille-transformator
- Convolutioneel netwerk
- Hoe combineert XLNet bidirectionele context met autoregressieve voorspelling?
- Het voorspelt alle tokens onafhankelijk zonder aandachtmasker
- Het voorspelt in gesampleerde factorisatievolgordes zonder een [MASK] invoertoken in te voegen, met behulp van aandachtmaskers
- Het schudt de zin fysiek voordat elke voorspelling wordt gedaan
- Het vervangt autoregressieve voorspelling door een denoising autoencoder
- Voor een tokenreeks A B C, stel dat een gesampleerde factorisatievolgorde C voorspelt vóór A en B. Welke context is beschikbaar bij het voorspellen van C?
- De tokens A en B moeten altijd eerst worden geleverd
- Alleen de volgende zin is beschikbaar
- Geen eerdere tokens in die gesampleerde volgorde, hoewel C op zijn oorspronkelijke invoerpositie blijft
- De invoerreeks wordt fysiek herschikt naar C A B
- Hoe voorkomt XLNet dat het doeltoken in zijn eigen voorspelling lekken?
- Het verwijdert het doel uit de hele trainingsreeks
- Het gebruikt het label van het doel als invoerembedding
- Het vervangt het token door een [MASK]-symbool
- De querystroom vertegenwoordigt de doelpositie zonder de tokeninhoud