Questionário vinculado ao guia · Médio Nível

Questionário sobre penalidades de repetição e controles de decodificação

Compare penalidades de temperatura, top-k, top-p e repetição, incluindo como os logits mudam antes da amostragem em fluxos de trabalho de geração de LLM.

Caminhos de guia relacionadosPenalidade de repetição e controles de decodificação
Pergunta 1 de 8

O que o aumento do parâmetro 'temperatura' afeta a saída de um modelo?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que o aumento do parâmetro 'temperatura' afeta a saída de um modelo?
    • Torna-o mais aleatório e diversificado
    • Torna-o mais determinístico e focado
    • Altera permanentemente os pesos do modelo
    • Acelera a geração
  2. Como a amostragem top-p (núcleo) decide quais tokens considerar?
    • Ele mantém um número fixo de tokens, independentemente da probabilidade
    • Ele mantém o menor conjunto de tokens cujas probabilidades somam um limite
    • Ele mantém apenas o token mais provável
    • Mantém tokens com probabilidade acima de 50%
  3. Em que estágio normalmente atua uma penalidade de repetição?
    • No texto bruto após geração
    • Nos dados de treinamento
    • Nos logits antes do softmax
    • No vocabulário do tokenizer
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Escalas de penalidade de presença com contagem de tokens; penalidade de frequência é plana
    • Eles são idênticos
    • Ambos se aplicam apenas ao primeiro token
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Temperatura próxima de zero
    • Temperatura muito alta
    • Alta penalidade de repetição acima de 2,0
    • Top-p de 1,0 com alta temperatura
  6. O que a amostragem top-k faz?
    • Mantém a soma dos tokens com a probabilidade k
    • Mantém apenas os k tokens mais prováveis como candidatos
    • Multiplica todos os logits por k
    • Remove os k tokens menos prováveis do treinamento
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set