Тест XLNet по моделированию перестановок

Ответы и пояснения появляются по мере прохождения теста.

1. Какую цель предварительной подготовки использует XLNet?
   • Моделирование языка перестановок
   • Моделирование замаскированного языка
   • Заменено обнаружение токена
   • Предсказание следующего предложения
2. Для решения какой проблемы BERT была специально разработана сеть XLNet?
   • БЕРТ был слишком мал
   • Токен [MASK] вызывает несоответствие предварительной подготовки/точной настройки и предполагает независимость от замаскированного токена.
   • BERT не мог обрабатывать короткие предложения
   • В BERT не было позиционных кодировок.
3. Что разделяет двухпотоковое самовнимание XLNet?
   • Уровни кодера и декодера
   • Графики обучения и вывода
   • Поток контента и поток запросов
   • Вложения токенов и предложений
4. Перемешивает ли XLNet слова в предложении физически?
   • Да, он случайным образом меняет порядок токенов.
   • Да, но только во время тонкой настройки
   • Нет, он никогда не меняет порядок вообще.
   • Нет, он меняет порядок факторизации, используя маски внимания, сохраняя при этом позиции.
5. Какая архитектура служит основой XLNet для контекста дальнего действия?
   • Трансформер-XL
   • ЛСТМ
   • Оригинальный ванильный трансформер.
   • Сверточная сеть
6. How does XLNet combine bidirectional context with autoregressive prediction?
   • It predicts all tokens independently with no attention mask
   • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
   • It physically shuffles the sentence before every prediction
   • It replaces autoregressive prediction with a denoising autoencoder
7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
   • The tokens A and B must always be provided first
   • Only the next sentence is available
   • No earlier tokens in that sampled order, although C remains at its original input position
   • The input sequence is physically reordered to C A B
8. How does XLNet prevent the target token from leaking into its own prediction query?
   • It removes the target from the entire training sequence
   • It uses the target’s label as an input embedding
   • It replaces the token with a [MASK] symbol
   • The query stream represents the target position without its token content