Test legat de ghid · Greu Nivel

Test de modelare a permutației XLNet

Verifică factorizarea permutării, atenția în două fluxuri, recurența Transformer-XL și modul în care revendicările de referință depind de setările comparabile.

Căi de ghidare aferenteModelarea permutării Xlnet
Întrebare 1 de 8

Ce obiectiv de preformare folosește XLNet?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce obiectiv de preformare folosește XLNet?
    • Modelarea limbajului de permutare
    • Modelarea limbajului mascat
    • Detectarea jetonului înlocuit
    • Predicția următoarei propoziții
  2. Pentru care slăbiciune BERT a fost conceput special XLNet?
    • BERT era prea mic
    • Indicatorul [MASK] provoacă o nepotrivire de pre-antrenare/reglare fină și presupune independența simbolului mascat
    • BERT nu putea face față frazelor scurte
    • BERT nu aveau codificări poziționale
  3. Ce separă autoatenția în două fluxuri a XLNet?
    • Straturi de codificator și decodor
    • Grafice de antrenament și inferență
    • Un flux de conținut și un flux de interogări
    • Încorporarea de simboluri și propoziții
  4. XLNet amestecă fizic cuvintele dintr-o propoziție?
    • Da, reordonează aleatoriu jetoanele reale
    • Da, dar numai în timpul reglajului fin
    • Nu, nu schimbă niciodată nicio comandă
    • Nu, permută ordinea de factorizare folosind măști de atenție în timp ce păstrează pozițiile
  5. Ce arhitectură servește ca coloană vertebrală a XLNet pentru contextul pe distanță lungă?
    • Transformator-XL
    • LSTM
    • Transformator original de vanilie
    • Rețea convoluțională
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content