Questionário sobre Transformadores

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual artigo de 2017 apresentou a arquitetura do transformador?
   • Aprendizagem sequência a sequência com redes neurais
   • Atenção é tudo que você precisa
   • Tradução automática neural aprendendo conjuntamente a alinhar e traduzir
   • Sequência Convolucional para Aprendizagem de Sequência
2. O que a autoatenção permite que um transformador faça?
   • Recuperar fatos ausentes de um dicionário externo
   • Processar posições somente após a conclusão da posição anterior
   • Combine informações de outras posições na mesma sequência em representações
   • Elimine a necessidade de informações de posição em todas as arquiteturas
3. Qual comparação corresponde à descrição do guia das variantes da arquitetura do transformador?
   • O original era apenas codificador; todas as versões posteriores usam decodificadores recorrentes
   • O original usava um design de codificador-decodificador; modelos posteriores podem ser somente codificador, somente decodificador ou codificador-decodificador
   • O original era apenas decodificador; versões posteriores usam apenas convoluções
   • O original omitiu atenção; versões posteriores o introduziram
4. Por que os transformadores precisam de codificações posicionais?
   • Porque a ordem da sequência pode ser importante
   • Para mapear cada ID de token para sua incorporação de vocabulário
   • Para evitar que tokens futuros sejam usados durante a previsão do próximo token
   • Para definir o número máximo de tokens que um sistema aceita
5. Atenção, para que são usados os vetores de consulta, chave e valor?
   • Queries rank possible output tokens, while keys contain the values to copy
   • Values are compared with queries to create weights, and keys are summed
   • Queries encode positions, keys encode token identities, and values set the mask
   • Query-key compatibility determines weights used to combine value vectors
6. What restriction does causal attention impose during next-token prediction?
   • It prevents a position from using earlier tokens
   • It lets each position attend only to the immediately previous token
   • It prevents a position from attending to future tokens
   • It makes each position attend only to itself
7. What does an advertised context limit establish about a model’s performance on a long document?
   • That it will use every part of the document reliably
   • Only the amount of context the system can accept; task performance still needs testing
   • That it will answer every question about the document
   • That the model trained on documents of that length
8. What do attention weights establish about why a model produced its final answer?
   • They are internal calculations, not automatically a faithful explanation
   • They reveal a complete causal account of the answer
   • They prove the answer is factually correct
   • They verify every source used in the response