Questionário vinculado ao guia · Difícil Nível

Questionário de modelagem de permutação XLNet

Verifica a fatoração de permutação, a atenção de dois fluxos, a recorrência do Transformer-XL e como as declarações de benchmark dependem de configurações comparáveis.

Caminhos de guia relacionadosModelagem de Permutação Xlnet
Pergunta 1 de 8

Qual objetivo de pré-treinamento o XLNet usa?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual objetivo de pré-treinamento o XLNet usa?
    • Modelagem de linguagem de permutação
    • Modelagem de linguagem mascarada
    • Detecção de token substituído
    • Previsão da próxima frase
  2. Qual ponto fraco do BERT o XLNet foi projetado especificamente para resolver?
    • BERT era muito pequeno
    • O token [MASK] causa uma incompatibilidade de pré-treinamento/ajuste fino e assume independência do token mascarado
    • BERT não conseguia lidar com frases curtas
    • BERT não tinha codificações posicionais
  3. O que separa a autoatenção de dois fluxos do XLNet?
    • Camadas codificadoras e decodificadoras
    • Gráficos de treinamento e inferência
    • Um fluxo de conteúdo e um fluxo de consulta
    • Incorporações de token e frase
  4. A XLNet embaralha fisicamente as palavras de uma frase?
    • Sim, ele reordena aleatoriamente os tokens reais
    • Sim, mas apenas durante o ajuste fino
    • Não, isso nunca altera nenhum pedido
    • Não, ele permuta a ordem de fatoração usando máscaras de atenção enquanto mantém as posições
  5. Qual arquitetura serve como espinha dorsal da XLNet para contexto de longo alcance?
    • Transformador-XL
    • LSTM
    • Transformador baunilha original
    • Rede convolucional
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content