Quiz lié à un guide · Moyen Niveau

Quiz sur les recettes de formation RoBERTa

Passez en revue le masquage de RoBERTa, les objectifs de pré-entraînement, l'échelle de données, le tokenizer, la variante multilingue et les leçons sur les comparaisons de modèles contrôlés.

Chemins de guidage associésRecette de formation Roberta
Question 1 de 8

Quelle a été la principale idée de RoBERTa sur le BERT original ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle a été la principale idée de RoBERTa sur le BERT original ?
    • L'architecture de BERT était fondamentalement défectueuse
    • BERT a utilisé trop de paramètres
    • BERT était considérablement sous-formé
    • BERT avait besoin d'un décodeur ajouté
  2. Quel objectif du BERT RoBERTa a-t-il supprimé ?
    • Prédiction de la phrase suivante
    • Modélisation du langage masqué
    • Classement des jetons
    • Détection de jeton remplacée
  3. Qu’est-ce que le masquage dynamique dans RoBERTa ?
    • Masquer uniquement les mots les plus rares du corpus
    • Masquer des phrases entières à la fois
    • Ne jamais masquer deux fois le même jeton dans un corpus
    • Générer un nouveau motif de masque à chaque fois qu'une séquence est vue
  4. Comment les données de formation de RoBERTa se comparent-elles à celles de BERT ?
    • Il a utilisé les mêmes 16 Go de texte
    • Il utilisait environ 160 Go, soit environ 10 fois plus
    • Il utilisait moins de données mais des étiquettes plus propres
    • Il utilisait uniquement Wikipédia
  5. Quelle organisation a publié RoBERTa ?
    • IA Facebook (Meta)
    • Google IA
    • OpenAI
    • Microsoft Recherche
  6. Comment s’appelle la version multilingue de RoBERTa ?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models