Тест за моделиране на маскиран език

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква е основната задача за обучение в моделирането на маскиран език?
   • Предсказване на умишлено скрити думи от заобикалящия контекст
   • Предсказване на следващата дума след изречение
   • Превод на текст между два езика
   • Класиране на изреченията по граматична правилност
2. Приблизително какъв процент токени BERT обикновено маскира по време на предварителното обучение?
   • около 50%
   • около 15%
   • около 1%
   • около 90%
3. Защо MLM дава модел на двупосочно разбиране?
   • Той чете изречения назад
   • Използва два отделни модела
   • Всеки жетон се грижи за думи отляво и отдясно
   • Разглежда само предишната дума
4. В схемата за маскиране на BERT какво се случва с около 10% от избраните позиции, вместо да станат [МАСКА]?
   • Изтриват се изцяло
   • Те са дублирани
   • Те са с главни букви
   • Те се заменят с произволна дума
5. На кои позиции се изчислява загубата на MLM?
   • Само маскираните позиции
   • Всяка лексема в изречението
   • Само първият и последният жетон
   • Само препинателни знаци
6. В сравнение с предвиждането на следващия токен, какво продава MLM?
   • Способността да се използва контекст
   • Възможност за генериране на плавен текст отляво надясно
   • Достъп до речник
   • Използването на вниманието
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction