Тест, свързан с ръководство · трудно Ниво

Тест за моделиране на пермутация на XLNet

Проверява факторизацията на пермутацията, вниманието на два потока, повтарянето на Transformer-XL и как претенциите за бенчмарк зависят от сравними настройки.

Свързани ръководни пътекиМоделиране на Xlnet пермутация
Въпрос 1 на 8

Каква цел за предварително обучение използва XLNet?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква цел за предварително обучение използва XLNet?
    • Моделиране на пермутационен език
    • Моделиране на маскиран език
    • Заменено откриване на токени
    • Прогноза за следващото изречение
  2. За справяне с коя слабост на BERT XLNet е специално проектиран?
    • БЕРТ беше твърде малък
    • Токенът [MASK] причинява несъответствие при предварително обучение/фина настройка и предполага независимост от маскиран токен
    • BERT не можеше да се справи с кратки изречения
    • На BERT липсваха позиционни кодировки
  3. Какво разделя двупоточното самовнимание на XLNet?
    • Енкодерни и декодиращи слоеве
    • Графики за обучение и изводи
    • Поток от съдържание и поток от заявки
    • Вграждане на токени и изречения
  4. XLNet разбърква ли физически думите в изречението?
    • Да, произволно пренарежда действителните токени
    • Да, но само по време на фина настройка
    • Не, никога не променя подреждането
    • Не, той променя реда на факторизиране, като използва маски за внимание, като същевременно запазва позиции
  5. Коя архитектура служи като гръбнак на XLNet за дългосрочен контекст?
    • Трансформатор-XL
    • LSTM
    • Оригинален ванилов трансформатор
    • Конволюционна мрежа
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content