Навчання RoBERTa Вікторина з рецептами

Відповіді та пояснення з’являються під час виконання тесту.

1. Яким було головне розуміння RoBERTa щодо оригінального BERT?
   • Архітектура BERT мала фундаментальні недоліки
   • BERT використав забагато параметрів
   • BERT був значно недостатньо підготовлений
   • BERT потребував додавання декодера
2. Який об’єкт BERT видалив RoBERTa?
   • Прогноз наступного речення
   • Масковане моделювання мови
   • Класифікація токенів
   • Замінено виявлення токенів
3. Що таке динамічне маскування в RoBERTa?
   • Маскування лише найрідкісніших слів у корпусі
   • Маскування цілих речень одночасно
   • Ніколи не маскуйте один і той же маркер двічі в корпусі
   • Створення нового шаблону маски щоразу, коли відображається послідовність
4. Як дані про тренування RoBERTa порівняли з даними BERT?
   • Він використав ті самі 16 ГБ тексту
   • Він використав приблизно 160 ГБ, приблизно в 10 разів більше
   • Він використовував менше даних, але чистіші мітки
   • Він використовував лише Вікіпедію
5. Яка організація випустила RoBERTa?
   • Facebook AI (Meta)
   • Google ШІ
   • OpenAI
   • Microsoft Дослідження
6. Як називається багатомовна версія RoBERTa?
   • mBERT
   • RoBERTa-XL
   • XLM-R (XLM-RoBERTa)
   • ПоліРоБЕРТа
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models