Questionário vinculado ao guia · Médio Nível

Normalização de comprimento no questionário de otimização de preferências

Examine como os objetivos de ajuste de preferência lidam com o comprimento da resposta, por que o SimPO normaliza as pontuações dos tokens e como as respostas concisas são avaliadas.

Caminhos de guia relacionadosNormalização de comprimento na otimização de preferências
Pergunta 1 de 8

Que comportamento indesejável a normalização de comprimento no DPO visa principalmente prevenir?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Que comportamento indesejável a normalização de comprimento no DPO visa principalmente prevenir?
    • Modelos que favorecem respostas mais longas, independentemente da qualidade real
    • Modelos que se recusam a responder perguntas
    • Modelos alucinando fatos
    • Modelos respondendo muito lentamente
  2. Por que a recompensa implícita do DPO padrão tende a aumentar com a duração da resposta?
    • Multiplica a recompensa pela temperatura
    • É uma soma das diferenças de probabilidade de log por token
    • Ele usa um bônus fixo por frase
    • Penaliza respostas curtas explicitamente
  3. Como o SimPO aborda o viés de comprimento?
    • Duplica o peso do modelo de referência
    • Ele trunca todas as respostas para um comprimento fixo
    • Ele usa a probabilidade média de log por token como recompensa
    • Remove totalmente os dados de preferência
  4. Uma diferença estrutural notável entre o SimPO e o DPO padrão é que o SimPO:
    • Requer o dobro de dados de treinamento
    • Funciona apenas em imagens
    • Desativa a descida gradiente
    • Não usa um modelo de referência separado
  5. Que prática de avaliação ajuda a confirmar um modelo melhorado em qualidade e não apenas em extensão?
    • Relatando uma taxa de vitória controlada por comprimento
    • Contando parâmetros totais
    • Medindo a temperatura da GPU
    • Aumentando o tamanho do lote
  6. Quais benchmarks baseados em chat o artigo do SimPO usou em suas avaliações relatadas?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail