RoBERTa-Trainingsrezept-Quiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was war RoBERTas wichtigste Erkenntnis über das ursprüngliche BERT?
   • Die Architektur von BERT war grundlegend fehlerhaft
   • BERT hat zu viele Parameter verwendet
   • BERT war deutlich unterausgebildet
   • BERT musste einen Decoder hinzufügen
2. Welches BERT-Ziel hat RoBERTa entfernt?
   • Vorhersage des nächsten Satzes
   • Maskierte Sprachmodellierung
   • Token-Klassifizierung
   • Ersetzte Token-Erkennung
3. Was ist dynamische Maskierung in RoBERTa?
   • Maskiert nur die seltensten Wörter im Korpus
   • Ganze Sätze auf einmal maskieren
   • Niemals denselben Token zweimal in einem Korpus maskieren
   • Jedes Mal, wenn eine Sequenz gesehen wird, wird ein neues Maskenmuster generiert
4. Wie waren die Trainingsdaten von RoBERTa im Vergleich zu denen von BERT?
   • Es wurden die gleichen 16 GB Text verwendet
   • Es wurden ungefähr 160 GB verbraucht, etwa zehnmal mehr
   • Es wurden weniger Daten, aber sauberere Etiketten verwendet
   • Es wurde nur Wikipedia verwendet
5. Welche Organisation hat RoBERTa veröffentlicht?
   • Facebook-KI (Meta)
   • Google KI
   • OpenAI
   • Microsoft Forschung
6. Wie heißt die mehrsprachige Version von RoBERTa?
   • mBERT
   • RoBERTa-XL
   • XLM-R (XLM-RoBERTa)
   • PolyRoBERTa
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models