Quiz z przepisami na szkolenie RoBERTa

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie było główne spostrzeżenie RoBERty na temat oryginalnego BERT-u?
   • Architektura BERT była zasadniczo wadliwa
   • BERT użył zbyt wielu parametrów
   • BERT był znacznie niedoszkolony
   • BERT potrzebował dodania dekodera
2. Który cel BERT usunął RoBERTa?
   • Przewidywanie następnego zdania
   • Modelowanie języka zamaskowanego
   • Klasyfikacja tokenów
   • Zastąpiono wykrywanie tokena
3. Co to jest maskowanie dynamiczne w RoBERTa?
   • Maskowanie tylko najrzadszych słów w korpusie
   • Maskowanie całych zdań na raz
   • Nigdy nie maskuj tego samego żetonu dwa razy w korpusie
   • Generowanie nowego wzoru maski za każdym razem, gdy widoczna jest sekwencja
4. Jak dane treningowe RoBERTa wypadają w porównaniu z danymi BERT?
   • Wykorzystał te same 16 GB tekstu
   • Zużyło około 160 GB, około 10 razy więcej
   • Zużyło mniej danych, ale czystsze etykiety
   • Korzystał wyłącznie z Wikipedii
5. Która organizacja wypuściła RoBERTa?
   • Sztuczna inteligencja Facebooka (Meta)
   • Google AI
   • OpenAI
   • Microsoft Badania
6. Jak nazywa się wielojęzyczna wersja RoBERTa?
   • MBERTA
   • ROBERTa-XL
   • XLM-R (XLM-RoBERTa)
   • PoliRoBERTA
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models