Тест за предварително обучение на ELECTRA

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква задача за предварително обучение използва ELECTRA вместо моделиране на маскиран език?
   • Заменено откриване на токени
   • Прогноза за следващото изречение
   • Авторегресивно предвиждане на следващата дума
   • Моделиране на пермутационен език
2. Защо ELECTRA е по-ефективен от BERT?
   • Той използва много по-малък речник
   • Той изчислява обучаващ сигнал за всички токени, а не само за маскирани
   • Той се обучава само върху маскираните 15% токени
   • Пропуска изцяло механизма на вниманието
3. Каква роля играе малката генераторна мрежа в ELECTRA?
   • Той класира крайните резултати по качество
   • Компресира модела след тренировка
   • Той произвежда правдоподобни заместващи жетони, които дискриминаторът да прецени
   • Той превежда текст между езици
4. Какво се случва с генератора след приключване на предварителното обучение?
   • Той е фино настроен за задачата надолу по веригата
   • Слива се с дискриминатора
   • Той се превръща в декодер за генериране
   • Изхвърля се; използва се само дискриминаторът
5. ELECTRA е разработен основно от изследователи от кои организации?
   • Google и Станфорд
   • Meta AI и NYU
   • OpenAI и Microsoft
   • DeepMind и Оксфорд
6. Кой по-късен модел разшири идеята на ELECTRA за откриване на заменен токен?
   • GPT-2
   • DeBERTa-v3
   • Т5
   • Word2Vec
7. What happens if ELECTRA’s generator proposes the original token at a position?
   • It is always labeled replaced because the generator proposed it
   • The position is removed from the input
   • That token is treated as original by the discriminator’s replaced-token label
   • The whole sequence is discarded
8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
   • Compare model names alone
   • Assume every ELECTRA run uses one fixed compute ratio
   • Ignore generator training cost
   • Specify model size, data, training budget, and evaluation setting