Quiz dotyczący modelowania języka zamaskowanego

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie jest podstawowe zadanie szkoleniowe w zakresie modelowania języka zamaskowanego?
   • Przewidywanie celowo ukrytych słów z otaczającego kontekstu
   • Przewidywanie następnego słowa po zdaniu
   • Tłumaczenie tekstu pomiędzy dwoma językami
   • Ranking zdań według poprawności gramatycznej
2. Mniej więcej, jaki procent żetonów BERT zazwyczaj maskuje podczas treningu wstępnego?
   • Około 50%
   • Około 15%
   • Około 1%
   • Około 90%
3. Dlaczego MLM zapewnia modelowe zrozumienie dwukierunkowe?
   • Czyta zdania od tyłu
   • Wykorzystuje dwa oddzielne modele
   • Każdy żeton odnosi się do słów po jego lewej i prawej stronie
   • Patrzy tylko na poprzednie słowo
4. Co w schemacie maskowania BERT dzieje się z około 10% wybranych pozycji, zamiast stać się [MASKĄ]?
   • Są one całkowicie usuwane
   • Są zduplikowane
   • Są pisane wielką literą
   • Zastępuje się je losowym słowem
5. Na jakich pozycjach obliczana jest strata MLM?
   • Tylko zamaskowane stanowiska
   • Każdy znak w zdaniu
   • Tylko pierwszy i ostatni żeton
   • Tylko znaki interpunkcyjne
6. W porównaniu z przewidywaniami dotyczącymi następnego tokena, co daje handel MLM?
   • Umiejętność wykorzystania kontekstu
   • Możliwość generowania płynnego tekstu od lewej do prawej
   • Dostęp do słownictwa
   • Korzystanie z uwagi
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction