ELECTRA Pretrening Quiz

Відповіді та пояснення з’являються під час виконання тесту.

1. Яке переднавчальне завдання ELECTRA використовує замість моделювання замаскованої мови?
   • Замінено виявлення токенів
   • Прогноз наступного речення
   • Авторегресійне передбачення наступного слова
   • Моделювання мови перестановки
2. Чому ELECTRA ефективніша за обчислення, ніж BERT?
   • Він використовує набагато менший словниковий запас
   • Він обчислює навчальний сигнал для всіх токенів, а не лише замаскованих
   • Він тренується лише на замаскованих 15% токенів
   • Він повністю пропускає механізм уваги
3. Яку роль відіграє мережа малого генератора в ELECTRA?
   • Він ранжує кінцеві результати за якістю
   • Він стискає модель після навчання
   • Він виробляє правдоподібні токени заміни для оцінки дискримінатора
   • Він перекладає текст між мовами
4. Що відбувається з генератором після завершення попереднього навчання?
   • Він точно налаштований для подальшого завдання
   • Він об'єднаний з дискримінатором
   • Він стає декодером для генерації
   • Його викидають; використовується тільки дискримінатор
5. ELECTRA була розроблена переважно дослідниками з яких організацій?
   • Google та Стенфорд
   • Meta AI та NYU
   • OpenAI та Microsoft
   • DeepMind і Оксфорд
6. Яка пізніша модель розширила ідею виявлення замінених маркерів ELECTRA?
   • ГПТ-2
   • DeBERTa-v3
   • Т5
   • Word2Vec
7. What happens if ELECTRA’s generator proposes the original token at a position?
   • It is always labeled replaced because the generator proposed it
   • The position is removed from the input
   • That token is treated as original by the discriminator’s replaced-token label
   • The whole sequence is discarded
8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
   • Compare model names alone
   • Assume every ELECTRA run uses one fixed compute ratio
   • Ignore generator training cost
   • Specify model size, data, training budget, and evaluation setting