Mit dem Guide verknüpftes Quiz · Schwer Ebene

XLNet-Quiz zur Permutationsmodellierung

Überprüft Permutationsfaktorisierung, Zwei-Stream-Aufmerksamkeit, Transformer-XL-Wiederholung und wie Benchmark-Ansprüche von vergleichbaren Einstellungen abhängen.

Verwandte FührungspfadeXlnet-Permutationsmodellierung
Frage 1 von 8

Welches Pretraining-Ziel verwendet XLNet?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welches Pretraining-Ziel verwendet XLNet?
    • Modellierung der Permutationssprache
    • Maskierte Sprachmodellierung
    • Ersetzte Token-Erkennung
    • Vorhersage des nächsten Satzes
  2. Für welche BERT-Schwäche wurde XLNet speziell entwickelt, um sie zu beheben?
    • BERT war zu klein
    • Das [MASK]-Token verursacht eine Nichtübereinstimmung zwischen Vortraining und Feinabstimmung und geht von der Unabhängigkeit maskierter Token aus
    • BERT konnte mit kurzen Sätzen nicht umgehen
    • BERT fehlten Positionskodierungen
  3. Was unterscheidet die Zwei-Stream-Selbstaufmerksamkeit von XLNet?
    • Encoder- und Decoderschichten
    • Trainings- und Inferenzdiagramme
    • Ein Inhaltsstrom und ein Abfragestrom
    • Token- und Satzeinbettungen
  4. Mischt XLNet die Wörter in einem Satz physisch?
    • Ja, die tatsächlichen Token werden nach dem Zufallsprinzip neu angeordnet
    • Ja, aber nur während der Feinabstimmung
    • Nein, die Reihenfolge ändert sich überhaupt nicht
    • Nein, es permutiert die Faktorisierungsreihenfolge mithilfe von Aufmerksamkeitsmasken und behält dabei die Positionen bei
  5. Welche Architektur dient als Rückgrat von XLNet für den Fernkontext?
    • Transformator-XL
    • LSTM
    • Originaler Vanille-Transformer
    • Faltungsnetzwerk
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content