Questionário vinculado ao guia · Médio Nível

Questionário de amostragem e reclassificação do melhor de N

Entenda a seleção melhor de N, as limitações do marcador, os custos do tempo de inferência e as suposições de probabilidade por trás da amostragem de mais candidatos.

Caminhos de guia relacionadosMelhor amostragem e reclassificação de N
Pergunta 1 de 8

Qual é a ideia central da amostragem melhor de N?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é a ideia central da amostragem melhor de N?
    • Gere N resultados candidatos e escolha o melhor com um marcador
    • Treine o modelo N vezes e calcule a média dos pesos
    • Use apenas a primeira saída que o modelo produz
    • Reduza o vocabulário para N tokens
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. O que determina em grande parte se o melhor de N realmente melhora os resultados?
    • A cor da interface do usuário
    • Apenas o comprimento do prompt
    • A qualidade e robustez do marcador ou verificador
    • O tamanho do vocabulário do modelo
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. Qual estratégia simples de reclassificação também é conhecida como autoconsistência?
    • Votação majoritária entre as respostas da amostra
    • Escolhendo a resposta mais longa
    • Escolhendo uma amostra aleatória
    • Sempre obtendo o resultado de menor probabilidade
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly