Викторина, связанная с руководством · Средний Уровень

ELECTRA Предтренировочный тест

Объясняется обнаружение замененных токенов, роли генератора и дискриминатора, обучение по позициям токенов и ограничения вычислительных сравнений.

Связанные направляющие путиЭлектра
Вопрос 1 из 8

Какую задачу предварительной подготовки использует ELECTRA вместо моделирования языка в масках?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какую задачу предварительной подготовки использует ELECTRA вместо моделирования языка в масках?
    • Заменено обнаружение токена
    • Предсказание следующего предложения
    • Авторегрессионное предсказание следующего слова
    • Моделирование языка перестановок
  2. Почему ELECTRA более эффективна в вычислениях, чем BERT?
    • Он использует гораздо меньший словарный запас
    • Он вычисляет сигнал обучения по всем токенам, а не только по замаскированным.
    • Он тренируется только на замаскированных 15% токенов.
    • Он полностью пропускает механизм внимания.
  3. Какую роль малая генераторная сеть играет в ELECTRA?
    • Он ранжирует окончательные результаты по качеству.
    • Он сжимает модель после обучения.
    • Он производит правдоподобные заменяющие токены, которые дискриминатор может оценить.
    • Он переводит текст между языками
  4. Что происходит с генератором после завершения предварительного обучения?
    • Он точно настроен для последующих задач.
    • Он объединен с дискриминатором
    • Он становится декодером для генерации
    • Оно отбрасывается; используется только дискриминатор
  5. ELECTRA была разработана в первую очередь исследователями каких организаций?
    • Google и Стэнфорд
    • Meta AI и Нью-Йоркский университет
    • OpenAI и Microsoft
    • DeepMind и Оксфорд
  6. Какая более поздняя модель расширила идею ELECTRA по обнаружению замененных токенов?
    • ГПТ-2
    • ДеБЕРТа-v3
    • Т5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting