Quiz lié à un guide · Difficile Niveau

Quiz sur la modélisation des permutations XLNet

Vérifie la factorisation de permutation, l'attention à deux flux, la récurrence de Transformer-XL et la façon dont les affirmations de référence dépendent de paramètres comparables.

Chemins de guidage associésModélisation des permutations Xlnet
Question 1 de 8

Quel objectif de pré-formation XLNet utilise-t-il ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel objectif de pré-formation XLNet utilise-t-il ?
    • Modélisation du langage de permutation
    • Modélisation du langage masqué
    • Détection de jeton remplacée
    • Prédiction de la phrase suivante
  2. Pour quelle faiblesse du BERT XLNet a-t-il été spécialement conçu ?
    • BERT était trop petit
    • Le jeton [MASK] provoque une inadéquation pré-entraînement/ajustement et suppose une indépendance du jeton masqué
    • BERT ne pouvait pas gérer des phrases courtes
    • BERT manquait d'encodages de position
  3. Qu'est-ce que l'auto-attention à deux flux de XLNet sépare ?
    • Couches d'encodeur et de décodeur
    • Graphiques d'entraînement et d'inférence
    • Un flux de contenu et un flux de requêtes
    • Intégrations de jetons et de phrases
  4. XLNet mélange-t-il physiquement les mots dans une phrase ?
    • Oui, il réorganise de manière aléatoire les jetons réels
    • Oui, mais uniquement lors de la mise au point
    • Non, cela ne change jamais l'ordre
    • Non, il permute l'ordre de factorisation à l'aide de masques d'attention tout en gardant les positions
  5. Quelle architecture sert de colonne vertébrale à XLNet pour un contexte à long terme ?
    • Transformateur-XL
    • LSTM
    • Transformateur vanille original
    • Réseau convolutif
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content