Gids-gekoppelde quiz · Moeilijk Niveau

XLNet-permutatiemodelleringsquiz

Controleert permutatiefactorisatie, aandacht voor twee stromen, herhaling van Transformer-XL en hoe benchmarkclaims afhankelijk zijn van vergelijkbare instellingen.

Gerelateerde gidspadenXlnet-permutatiemodellering
Vraag 1 van 8

Welk voortrainingsdoel gebruikt XLNet?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk voortrainingsdoel gebruikt XLNet?
    • Permutatie taalmodellering
    • Gemaskerde taalmodellering
    • Tokendetectie vervangen
    • Voorspelling van de volgende zin
  2. Welke BERT-zwakte is XLNet specifiek ontworpen om aan te pakken?
    • BERT was te klein
    • Het [MASK]-token veroorzaakt een mismatch tussen pretrain/fine-tune en gaat uit van de onafhankelijkheid van het gemaskeerde token
    • BERT kon niet tegen korte zinnen
    • BERT miste positionele coderingen
  3. Wat scheidt de twee-stream zelf-aandacht van XLNet?
    • Encoder- en decoderlagen
    • Trainings- en gevolgtrekkingsgrafieken
    • Een inhoudsstream en een querystream
    • Token- en zininsluitingen
  4. Schudt XLNet de woorden in een zin fysiek?
    • Ja, het herschikt willekeurig de daadwerkelijke tokens
    • Ja, maar alleen tijdens het afstemmen
    • Nee, er verandert nooit een bestelling
    • Nee, het permuteert de factorisatievolgorde met behulp van aandachtsmaskers terwijl de posities behouden blijven
  5. Welke architectuur dient als de ruggengraat van XLNet voor langeafstandscontext?
    • Transformator-XL
    • LSTM
    • Originele vanille-transformator
    • Convolutioneel netwerk
  6. Hoe combineert XLNet bidirectionele context met autoregressieve voorspelling?
    • Het voorspelt alle tokens onafhankelijk zonder aandachtmasker
    • Het voorspelt in gesampleerde factorisatievolgordes zonder een [MASK] invoertoken in te voegen, met behulp van aandachtmaskers
    • Het schudt de zin fysiek voordat elke voorspelling wordt gedaan
    • Het vervangt autoregressieve voorspelling door een denoising autoencoder
  7. Voor een tokenreeks A B C, stel dat een gesampleerde factorisatievolgorde C voorspelt vóór A en B. Welke context is beschikbaar bij het voorspellen van C?
    • De tokens A en B moeten altijd eerst worden geleverd
    • Alleen de volgende zin is beschikbaar
    • Geen eerdere tokens in die gesampleerde volgorde, hoewel C op zijn oorspronkelijke invoerpositie blijft
    • De invoerreeks wordt fysiek herschikt naar C A B
  8. Hoe voorkomt XLNet dat het doeltoken in zijn eigen voorspelling lekken?
    • Het verwijdert het doel uit de hele trainingsreeks
    • Het gebruikt het label van het doel als invoerembedding
    • Het vervangt het token door een [MASK]-symbool
    • De querystroom vertegenwoordigt de doelpositie zonder de tokeninhoud