Тест на рецепты тренировок RoBERTa

Ответы и пояснения появляются по мере прохождения теста.

1. Каково было главное представление Роберта об оригинальном BERT?
   • Архитектура BERT была фундаментально ошибочной
   • BERT использовал слишком много параметров
   • BERT был значительно недостаточно обучен
   • BERT требовался добавленный декодер
2. Какую цель BERT удалил RoBERTa?
   • Предсказание следующего предложения
   • Моделирование замаскированного языка
   • Классификация токенов
   • Заменено обнаружение токена
3. Что такое динамическое маскирование в RoBERTa?
   • Маскировка только самых редких слов в корпусе
   • Маскировка целых предложений одновременно
   • Никогда не маскируйте один и тот же токен дважды в корпусе.
   • Генерация нового шаблона маски каждый раз, когда просматривается последовательность
4. Как данные обучения RoBERTa сравниваются с данными BERT?
   • Он использовал те же 16 ГБ текста.
   • Он использовал примерно 160 ГБ, примерно в 10 раз больше.
   • Было использовано меньше данных, но более чистые этикетки.
   • Использовалась только Википедия
5. Какая организация выпустила РоБЕРТа?
   • ИИ Facebook (Meta)
   • Google ИИ
   • OpenAI
   • Microsoft Исследования
6. Как называется многоязычная версия RoBERTa?
   • мБЕРТ
   • РОБЕРТа-XL
   • XLM-R (XLM-РоБЕРТа)
   • ПолиРоБЕРТа
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models