Викторина по моделированию языка в масках

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная задача обучения при моделировании замаскированного языка?
   • Предсказание намеренно скрытых слов из окружающего контекста
   • Предсказание следующего слова после предложения
   • Перевод текста между двумя языками
   • Ранжирование предложений по грамматической правильности
2. Примерно какой процент токенов обычно маскирует BERT во время предварительного обучения?
   • Около 50%
   • Около 15%
   • Около 1%
   • Около 90%
3. Почему MLM дает модель двунаправленного понимания?
   • Он читает предложения задом наперед
   • Он использует две отдельные модели
   • Каждый токен обрабатывает слова как слева, так и справа.
   • Он смотрит только на предыдущее слово
4. Что происходит в схеме маскировки BERT примерно с 10% выбранных позиций вместо того, чтобы стать [MASK]?
   • Они удалены полностью
   • Они дублируются
   • Они пишутся с заглавной буквы
   • Они заменяются случайным словом
5. По каким позициям рассчитывается убыток MLM?
   • Только замаскированные позиции
   • Каждый знак в предложении
   • Только первый и последний токены
   • Только знаки препинания
6. Что дает MLM по сравнению с предсказанием следующего токена?
   • Умение использовать контекст
   • Возможность генерировать беглый текст слева направо
   • Доступ к словарю
   • Использование внимания
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction