Questionário vinculado ao guia · Médio Nível

Questionário de otimização de preferência direta

Revise os pares de preferências do DPO, a política de referência, as recompensas implícitas, o beta, as variantes e os limites do treinamento de preferência direta.

Caminhos de guia relacionadosOtimização de preferência direta
Pergunta 1 de 8

O que o DPO elimina em comparação com o RLHF tradicional?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que o DPO elimina em comparação com o RLHF tradicional?
    • O modelo de recompensa separado e o ciclo de aprendizagem por reforço
    • A necessidade de quaisquer dados de preferência humana
    • O modelo básico de linguagem pré-treinada
    • O uso de log-probabilidades
  2. Em quais dados consiste um único exemplo de treinamento de DPO?
    • Um aviso e uma pontuação de recompensa numérica
    • Um prompt com uma resposta escolhida e uma rejeitada
    • Um prompt e uma única resposta correta
    • Apenas a saída de um modelo de recompensa
  3. Qual o papel do modelo de referência no DPO?
    • Ele gera as respostas rejeitadas
    • Ele pontua as respostas com recompensas explícitas
    • É a linha de base congelada contra a qual a política é medida para limitar o desvio
    • Ele substitui os dados de treinamento
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. O que significa o parâmetro beta (temperatura) no controle do DPO?
    • Quão fortemente a política é mantida próxima do modelo de referência
    • A taxa de aprendizagem do otimizador
    • O número de pares de preferência
    • O tamanho do vocabulário
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio