Quiz lié à un guide · Moyen Niveau

Quiz sur la modélisation du langage masqué

Comprenez la modélisation du langage masqué, le schéma de sélection de jetons de BERT et les alternatives ultérieures pour la pré-formation bidirectionnelle.

Chemins de guidage associésModélisation du langage masqué
Question 1 de 8

Quelle est la tâche de formation principale en modélisation de langage masqué ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est la tâche de formation principale en modélisation de langage masqué ?
    • Prédire les mots délibérément cachés du contexte environnant
    • Prédire le mot suivant après une phrase
    • Traduire du texte entre deux langues
    • Classement des phrases par correction grammaticale
  2. Environ quel pourcentage de jetons BERT masque-t-il généralement pendant le pré-entraînement ?
    • Environ 50%
    • Environ 15%
    • Environ 1%
    • Environ 90%
  3. Pourquoi MLM donne-t-il une compréhension bidirectionnelle du modèle ?
    • Il lit les phrases à l'envers
    • Il utilise deux modèles distincts
    • Chaque jeton s'occupe des mots à gauche et à droite
    • Il ne regarde que le mot précédent
  4. Dans le schéma de masquage du BERT, qu'arrive-t-il à environ 10 % des postes sélectionnés au lieu de devenir [MASK] ?
    • Ils sont entièrement supprimés
    • Ils sont dupliqués
    • Ils sont en majuscule
    • Ils sont remplacés par un mot aléatoire
  5. Sur quelles positions la perte MLM est-elle calculée ?
    • Seules les positions masquées
    • Chaque jeton dans la phrase
    • Uniquement le premier et le dernier jeton
    • Uniquement les jetons de ponctuation
  6. Par rapport à la prédiction du prochain jeton, qu'est-ce que le MLM échange ?
    • La capacité d'utiliser le contexte
    • La possibilité de générer un texte fluide de gauche à droite
    • Accès à un vocabulaire
    • L'utilisation de l'attention
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction