Quiz collegato alla guida · Difficile Livello
Quiz sulla modellazione delle permutazioni XLNet
Controlla la fattorizzazione della permutazione, l'attenzione a due flussi, la ricorrenza di Transformer-XL e il modo in cui le affermazioni dei benchmark dipendono da impostazioni comparabili.
Domanda 1 di 8
Quale obiettivo preformativo utilizza XLNet?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale obiettivo preformativo utilizza XLNet?
- Modellazione del linguaggio di permutazione
- Modellazione del linguaggio mascherato
- Rilevamento token sostituito
- Previsione della frase successiva
- Per quale debolezza del BERT XLNet è stato specificamente progettato per affrontare?
- BERT era troppo piccolo
- Il token [MASK] provoca una mancata corrispondenza di pre-addestramento/ottimizzazione e presuppone l'indipendenza del token mascherato
- BERT non riusciva a gestire frasi brevi
- BERT mancava di codifiche posizionali
- Cosa separa il doppio flusso di autoattenzione di XLNet?
- Strati di codifica e decodificazione
- Grafici di training e inferenza
- Un flusso di contenuto e un flusso di query
- Incorporamenti di token e frasi
- XLNet mescola fisicamente le parole in una frase?
- Sì, riordina in modo casuale i token effettivi
- Sì, ma solo durante la messa a punto
- No, non cambia mai alcun ordine
- No, permuta l'ordine di fattorizzazione utilizzando maschere di attenzione mantenendo le posizioni
- Quale architettura funge da spina dorsale di XLNet per un contesto a lungo raggio?
- Trasformatore-XL
- LSTM
- Trasformatore originale alla vaniglia
- Rete convoluzionale
- How does XLNet combine bidirectional context with autoregressive prediction?
- It predicts all tokens independently with no attention mask
- It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
- It physically shuffles the sentence before every prediction
- It replaces autoregressive prediction with a denoising autoencoder
- For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
- The tokens A and B must always be provided first
- Only the next sentence is available
- No earlier tokens in that sampled order, although C remains at its original input position
- The input sequence is physically reordered to C A B
- How does XLNet prevent the target token from leaking into its own prediction query?
- It removes the target from the entire training sequence
- It uses the target’s label as an input embedding
- It replaces the token with a [MASK] symbol
- The query stream represents the target position without its token content