Test legat de ghid · Mediu Nivel

Test de optimizare a preferințelor raportului de cote

Explică obiectivul de preferință fără model de referință al ORPO, penalizarea raportului de cote și antrenamentul combinat supravegheat și de preferință.

Căi de ghidare aferenteOptimizarea preferințelor raportului de cote
Întrebare 1 de 8

Care este principalul avantaj practic al ORPO față de metode precum DPO?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este principalul avantaj practic al ORPO față de metode precum DPO?
    • Elimină necesitatea unui model de referință separat
    • Nu necesită deloc date de antrenament
    • Funcționează doar pe modele de imagine
    • Garantează zero halucinații
  2. Cu ce se compară „rația de șanse” din ORPO?
    • Viteza de antrenament versus precizie
    • Cotele răspunsului ales față de răspunsul respins
    • Două rate de învățare diferite
    • Dimensiunea modelului versus dimensiunea setului de date
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Pierderea ORPO este cel mai bine descrisă ca combinație?
    • SFT-entropie încrucișată plus un termen de preferință ponderat cu raportul de cote
    • Doar un scor de model de recompensă
    • O întoarcere pură de întărire-învățare
    • Injectie aleatorie de zgomot
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Dimensiunea vocabularului tokenizerului
    • Numărul de capete de atenție
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation