Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący modelowania permutacji XLNet

Sprawdza faktoryzację permutacji, uwagę dwóch strumieni, powtarzalność Transformera-XL i to, jak oświadczenia dotyczące testów porównawczych zależą od porównywalnych ustawień.

Powiązane ścieżki prowadząceModelowanie permutacji Xlnet
Pytanie 1 z 8

Jaki cel przedtreningowy wykorzystuje XLNet?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jaki cel przedtreningowy wykorzystuje XLNet?
    • Modelowanie języka permutacyjnego
    • Modelowanie języka zamaskowanego
    • Zastąpiono wykrywanie tokena
    • Przewidywanie następnego zdania
  2. Do której słabości BERT zaprojektowano specjalnie XLNet?
    • BERT był za mały
    • Token [MASK] powoduje niedopasowanie wstępnego/dostrajania i zakłada niezależność od tokenu maskowanego
    • BERT nie radził sobie z krótkimi zdaniami
    • BERTowi brakowało kodowania pozycyjnego
  3. Co oddziela dwustrumieniowa samouwaga XLNet?
    • Warstwy kodera i dekodera
    • Wykresy uczenia i wnioskowania
    • Strumień treści i strumień zapytań
    • Osadzanie tokenów i zdań
  4. Czy XLNet fizycznie miesza słowa w zdaniu?
    • Tak, losowo zmienia kolejność rzeczywistych tokenów
    • Tak, ale tylko podczas dostrajania
    • Nie, nigdy nie zmienia to żadnej kolejności
    • Nie, zmienia kolejność faktoryzacji za pomocą masek uwagi, zachowując pozycje
  5. Która architektura stanowi szkielet XLNet w kontekście dalekiego zasięgu?
    • Transformator XL
    • LSTM
    • Oryginalny transformator waniliowy
    • Sieć splotowa
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content