Questionário vinculado ao guia · Médio Nível

Questionário de otimização de preferência de razão de probabilidade

Explica o objetivo de preferência livre de modelo de referência do ORPO, a penalidade de razão de chances e o treinamento combinado supervisionado e de preferência.

Caminhos de guia relacionadosOtimização de preferência de razão de probabilidade
Pergunta 1 de 8

Qual é a principal vantagem prática do ORPO sobre métodos como o DPO?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é a principal vantagem prática do ORPO sobre métodos como o DPO?
    • Elimina a necessidade de um modelo de referência separado
    • Não requer nenhum dado de treinamento
    • Funciona apenas em modelos de imagem
    • Garante zero alucinações
  2. O que o 'odds ratio' no ORPO compara?
    • Velocidade de treinamento versus precisão
    • As probabilidades da resposta escolhida versus a resposta rejeitada
    • Duas taxas de aprendizagem diferentes
    • O tamanho do modelo versus tamanho do conjunto de dados
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. A perda ORPO é melhor descrita como qual combinação?
    • Entropia cruzada SFT mais um termo de preferência ponderado de razão de chances
    • Apenas uma pontuação de modelo de recompensa
    • Um retorno puro de aprendizagem por reforço
    • Injeção de ruído aleatório
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • O tamanho do vocabulário do tokenizer
    • O número de cabeças de atenção
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation