Questionário de modelagem de linguagem mascarada

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual é a principal tarefa de treinamento na modelagem de linguagem mascarada?
   • Prever palavras deliberadamente escondidas do contexto circundante
   • Prever a próxima palavra após uma frase
   • Traduzindo texto entre dois idiomas
   • Classificando frases por correção gramatical
2. Aproximadamente que porcentagem de tokens o BERT normalmente mascara durante o pré-treinamento?
   • Cerca de 50%
   • Cerca de 15%
   • Cerca de 1%
   • Cerca de 90%
3. Por que o MLM fornece um modelo de compreensão bidirecional?
   • Ele lê frases ao contrário
   • Ele usa dois modelos separados
   • Cada token atende às palavras à esquerda e à direita
   • Ele apenas olha para a palavra anterior
4. No esquema de mascaramento do BERT, o que acontece com cerca de 10% das posições selecionadas em vez de se tornarem [MASK]?
   • Eles são totalmente excluídos
   • Eles são duplicados
   • Eles são capitalizados
   • Eles são substituídos por uma palavra aleatória
5. Em quais posições é calculada a perda de MLM?
   • Apenas as posições mascaradas
   • Cada token na frase
   • Apenas o primeiro e o último token
   • Somente tokens de pontuação
6. Comparado com a previsão do próximo token, o que o MLM negocia?
   • A capacidade de usar o contexto
   • A capacidade de gerar texto fluente da esquerda para a direita
   • Acesso a um vocabulário
   • O uso da atenção
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction