Quiz collegato alla guida · Difficile Livello

Quiz sulla modellazione delle permutazioni XLNet

Controlla la fattorizzazione della permutazione, l'attenzione a due flussi, la ricorrenza di Transformer-XL e il modo in cui le affermazioni dei benchmark dipendono da impostazioni comparabili.

Percorsi guida correlatiModellazione di permutazione Xlnet
Domanda 1 di 8

Quale obiettivo preformativo utilizza XLNet?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale obiettivo preformativo utilizza XLNet?
    • Modellazione del linguaggio di permutazione
    • Modellazione del linguaggio mascherato
    • Rilevamento token sostituito
    • Previsione della frase successiva
  2. Per quale debolezza del BERT XLNet è stato specificamente progettato per affrontare?
    • BERT era troppo piccolo
    • Il token [MASK] provoca una mancata corrispondenza di pre-addestramento/ottimizzazione e presuppone l'indipendenza del token mascherato
    • BERT non riusciva a gestire frasi brevi
    • BERT mancava di codifiche posizionali
  3. Cosa separa il doppio flusso di autoattenzione di XLNet?
    • Strati di codifica e decodificazione
    • Grafici di training e inferenza
    • Un flusso di contenuto e un flusso di query
    • Incorporamenti di token e frasi
  4. XLNet mescola fisicamente le parole in una frase?
    • Sì, riordina in modo casuale i token effettivi
    • Sì, ma solo durante la messa a punto
    • No, non cambia mai alcun ordine
    • No, permuta l'ordine di fattorizzazione utilizzando maschere di attenzione mantenendo le posizioni
  5. Quale architettura funge da spina dorsale di XLNet per un contesto a lungo raggio?
    • Trasformatore-XL
    • LSTM
    • Trasformatore originale alla vaniglia
    • Rete convoluzionale
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content