Вікторина з моделювання мови в масках

Відповіді та пояснення з’являються під час виконання тесту.

1. Що є основним навчальним завданням моделювання мови в масках?
   • Передбачення навмисно прихованих слів з навколишнього контексту
   • Передбачення наступного слова після речення
   • Переклад тексту між двома мовами
   • Ранжування речень за граматичною правильністю
2. Приблизно який відсоток токенів BERT зазвичай маскує під час попереднього навчання?
   • Близько 50%
   • Близько 15%
   • близько 1%
   • Близько 90%
3. Чому MLM дає типове двонаправлене розуміння?
   • Він читає речення задом наперед
   • Він використовує дві окремі моделі
   • Кожна лексема стосується слів як ліворуч, так і праворуч
   • Він переглядає лише попереднє слово
4. У схемі маскування BERT, що відбувається з приблизно 10% вибраних позицій замість того, щоб стати [МАСКОЮ]?
   • Вони повністю видаляються
   • Вони дублюються
   • Вони пишуться з великої літери
   • Вони замінюються випадковим словом
5. За якими позиціями розраховується збиток MLM?
   • Тільки замасковані позиції
   • Кожна лексема в реченні
   • Тільки перший і останній жетони
   • Тільки розділові лексеми
6. Порівняно з прогнозуванням наступного токена, чим торгує MLM?
   • Уміння використовувати контекст
   • Можливість генерувати плавний текст зліва направо
   • Доступ до словникового запасу
   • Використання уваги
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction