Questionário vinculado ao guia · Médio Nível

DPO iterativo e questionário de ajuste de preferências on-line

Saiba como o DPO iterativo atualiza dados de preferências, usa juízes e negocia rodadas repetidas de alinhamento contra custos e preconceitos adicionais.

Caminhos de guia relacionadosDpo iterativo e ajuste de preferência online
Pergunta 1 de 8

O que o DPO evita que o RLHF tradicional (PPO) exige?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que o DPO evita que o RLHF tradicional (PPO) exige?
    • Treinando um modelo de recompensa explícito separado
    • Quaisquer dados de treinamento
    • Usando uma rede neural
    • Preferências humanas inteiramente
  2. Por que o DPO iterativo (online) geralmente é melhor do que executar o DPO uma vez em um conjunto de dados fixo?
    • Não precisa de rótulos de preferência
    • Ele mantém os dados de treinamento dentro da política e atualizados à medida que o modelo muda
    • Remove o modelo de referência
    • Só funciona para imagens
  3. Qual o papel do modelo de referência na perda de DPO?
    • Ele gera a saída final do usuário
    • Ele rotula as preferências
    • Ele ancora a política por meio de uma relação log-probabilidade, controlando o desvio
    • Ele substitui o tokenizador
  4. Em uma única iteração do DPO online, qual é a sequência típica?
    • Exclua o modelo e treine novamente do zero
    • Apenas reclassifique dados antigos sem amostragem
    • Treine uma CNN nas respostas
    • Experimente novas respostas, julgue as preferências e execute uma atualização do DPO
  5. O que significa o hiperparâmetro beta no controle do DPO?
    • Quão fortemente a política se desvia do modelo de referência
    • O tamanho do vocabulário
    • O número de GPUs
    • A resolução da imagem
  6. Qual é a ideia-chave por trás do DPO iterativo 'auto-recompensador'?
    • O modelo nunca usa preferências
    • O modelo gera e julga seus próprios pares de respostas para criar dados de treinamento
    • Os humanos devem rotular cada par
    • Ele usa apenas recompensas aleatórias
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates