Questionário vinculado ao guia · Médio Nível

Questionário de previsão do próximo token

Revise o treinamento do modelo de linguagem autorregressivo, o contexto causal, a força do professor e a diferença entre treinamento e geração.

Caminhos de guia relacionadosPrevisão do próximo token
Pergunta 1 de 8

O que um modelo de previsão do próximo token produz em cada etapa?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que um modelo de previsão do próximo token produz em cada etapa?
    • Uma distribuição de probabilidade sobre o vocabulário para o próximo token
    • Uma única palavra fixa
    • Uma tradução da frase
    • Uma pontuação gramatical
  2. Que tipo de atenção um decodificador estilo GPT usa?
    • Atenção bidirecional
    • Atenção causal (mascarada) que esconde tokens futuros
    • Nenhuma atenção
    • Atenção aleatória
  3. O que significa geração 'autoregressiva' aqui?
    • O modelo gera todos os tokens de uma vez
    • O modelo regride para um valor médio
    • Cada novo token é anexado e realimentado para prever o próximo
    • Os tokens são gerados em ordem aleatória
  4. Qual função de perda normalmente é minimizada durante o treinamento?
    • Erro quadrático médio
    • Perda de dobradiça
    • Distância cosseno
    • Entropia cruzada sobre o próximo token
  5. O que o aumento da temperatura durante a amostragem faz?
    • Torna a saída mais aleatória e criativa
    • Torna a saída estritamente determinística
    • Aumenta o tamanho do vocabulário
    • Remove a camada softmax
  6. Antes da previsão, como o texto bruto geralmente é preparado?
    • Está traduzido para inglês
    • É dividido em tokens por um tokenizer
    • Ele é convertido em áudio
    • São deixados como caracteres brutos sem processamento
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix