Questionário vinculado ao guia · Médio Nível

Questionário de receitas de treinamento RoBERTa

Revise o mascaramento, os objetivos de pré-treinamento, a escala de dados, o tokenizer, a variante multilíngue e as lições sobre comparações de modelos controlados do RoBERTa.

Caminhos de guia relacionadosReceita de treino Roberta
Pergunta 1 de 8

Qual foi o principal insight de RoBERTa sobre o BERT original?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual foi o principal insight de RoBERTa sobre o BERT original?
    • A arquitetura do BERT era fundamentalmente falha
    • BERT usou muitos parâmetros
    • BERT estava significativamente subtreinado
    • BERT precisava de um decodificador adicionado
  2. Qual objetivo do BERT o RoBERTa removeu?
    • Previsão da próxima frase
    • Modelagem de linguagem mascarada
    • Classificação de token
    • Detecção de token substituído
  3. O que é mascaramento dinâmico no RoBERTa?
    • Mascarando apenas as palavras mais raras do corpus
    • Mascarando frases inteiras de uma só vez
    • Nunca mascarar o mesmo token duas vezes em um corpus
    • Gerando um novo padrão de máscara cada vez que uma sequência é vista
  4. Como os dados de treinamento do RoBERTa se comparam aos do BERT?
    • Ele usou os mesmos 16 GB de texto
    • Ele usou cerca de 160 GB, cerca de 10 vezes mais
    • Usou menos dados, mas rótulos mais limpos
    • Usou apenas a Wikipédia
  5. Qual organização lançou RoBERTa?
    • IA do Facebook (Meta)
    • Google IA
    • OpenAI
    • Microsoft Pesquisa
  6. Como é chamada a versão multilíngue do RoBERTa?
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PoliRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models