Kvíz spojený s průvodcem · Střední úroveň

Kvíz optimalizace preferencí poměru šancí

Vysvětluje preferenční cíl ORPO bez referenčního modelu, penalizaci za poměr šancí a kombinovaný trénink pod dohledem a preferenční školení.

Související vodicí cestyOptimalizace preferencí poměru šancí
Otázka 1 z 8

Jaká je hlavní praktická výhoda ORPO oproti metodám jako DPO?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní praktická výhoda ORPO oproti metodám jako DPO?
    • Eliminuje potřebu samostatného referenčního modelu
    • Nevyžaduje vůbec žádná tréninková data
    • Funguje pouze na obrazových modelech
    • Zaručuje nulové halucinace
  2. Co porovnává 'odds ratio' v ORPO?
    • Rychlost tréninku versus přesnost
    • Pravděpodobnost vybrané odpovědi versus odmítnutá odpověď
    • Dvě různé míry učení
    • Velikost modelu versus velikost datové sady
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Ztráta ORPO je nejlépe popsána jako která kombinace?
    • Křížová entropie SFT plus preferenční termín váženého poměru šancí
    • Pouze skóre modelu odměny
    • Čistý návrat k posilování a učení
    • Náhodné vstřikování hluku
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Velikost slovní zásoby tokenizeru
    • Počet hlav pozornosti
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation