Questionário vinculado ao guia · Médio Nível

Questionário de pré-treinamento ELECTRA

Explica a detecção de token substituído, funções de gerador e discriminador, aprendizagem entre posições de token e os limites das comparações de computação.

Caminhos de guia relacionadosPré-treinamento Electra
Pergunta 1 de 8

Que tarefa de pré-treinamento o ELECTRA usa em vez da modelagem de linguagem mascarada?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Que tarefa de pré-treinamento o ELECTRA usa em vez da modelagem de linguagem mascarada?
    • Detecção de token substituído
    • Previsão da próxima frase
    • Previsão autoregressiva da próxima palavra
    • Modelagem de linguagem de permutação
  2. Por que o ELECTRA é mais eficiente em termos de computação do que o BERT?
    • Ele usa um vocabulário muito menor
    • Ele calcula um sinal de aprendizagem sobre todos os tokens, não apenas os mascarados
    • Ele treina apenas 15% dos tokens mascarados
    • Ele ignora totalmente o mecanismo de atenção
  3. Qual o papel da rede de pequenos geradores na ELECTRA?
    • Classifica os resultados finais por qualidade
    • Comprime o modelo após o treinamento
    • Produz tokens de substituição plausíveis para o discriminador julgar
    • Ele traduz texto entre idiomas
  4. O que acontece com o gerador após a conclusão do pré-treinamento?
    • É ajustado para a tarefa posterior
    • É mesclado com o discriminador
    • Torna-se o decodificador para geração
    • É descartado; apenas o discriminador é usado
  5. O ELECTRA foi desenvolvido principalmente por pesquisadores de quais organizações?
    • Google e Stanford
    • Meta IA e NYU
    • OpenAI e Microsoft
    • DeepMind e Oxford
  6. Qual modelo posterior estendeu a ideia de detecção de token substituído da ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting