Вікторина, пов’язана з посібником · важко Рівень

Вікторина з моделювання перестановок XLNet

Перевіряє факторізацію перестановок, двопотокову увагу, повторення Transformer-XL і те, як вимоги еталонного тесту залежать від порівнянних налаштувань.

Пов'язані напрямні шляхиМоделювання перестановок Xlnet
Питання 1 з 8

Яку мету попереднього навчання використовує XLNet?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку мету попереднього навчання використовує XLNet?
    • Моделювання мови перестановки
    • Масковане моделювання мови
    • Замінено виявлення токенів
    • Прогноз наступного речення
  2. Для усунення якої слабкості BERT був спеціально розроблений XLNet?
    • BERT був занадто малим
    • Маркер [MASK] викликає невідповідність попереднього навчання/точного налаштування та передбачає незалежність маскованого маркера
    • BERT не міг впоратися з короткими реченнями
    • У BERT бракувало позиційного кодування
  3. Що розділяє двопотокова самоувага XLNet?
    • Рівні кодера та декодера
    • Графи навчання та висновків
    • Потік вмісту та потік запитів
    • Вкладення лексем і речень
  4. Чи XLNet фізично перемішує слова в реченні?
    • Так, він випадковим чином змінює порядок фактичних жетонів
    • Так, але тільки під час тонкого налаштування
    • Ні, це взагалі не змінює порядок
    • Ні, він змінює порядок факторизації за допомогою масок уваги, зберігаючи позиції
  5. Яка архітектура служить основою XLNet для довгострокового контексту?
    • Трансформер-XL
    • LSTM
    • Оригінальний ванільний трансформер
    • Згорточна мережа
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content