Kvíz spojený s průvodcem · Střední úroveň
Kvíz optimalizace preferencí poměru šancí
Vysvětluje preferenční cíl ORPO bez referenčního modelu, penalizaci za poměr šancí a kombinovaný trénink pod dohledem a preferenční školení.
Otázka 1 z 8
Jaká je hlavní praktická výhoda ORPO oproti metodám jako DPO?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní praktická výhoda ORPO oproti metodám jako DPO?
- Eliminuje potřebu samostatného referenčního modelu
- Nevyžaduje vůbec žádná tréninková data
- Funguje pouze na obrazových modelech
- Zaručuje nulové halucinace
- Co porovnává 'odds ratio' v ORPO?
- Rychlost tréninku versus přesnost
- Pravděpodobnost vybrané odpovědi versus odmítnutá odpověď
- Dvě různé míry učení
- Velikost modelu versus velikost datové sady
- What form does an ORPO preference example contain?
- Only a single unlabeled response
- A prompt with two identical completions
- A prompt with one chosen response and one disfavored response
- A reward score with no associated responses
- How does ORPO convert a response probability p into odds?
- One minus p divided by p
- The square root of p
- The logarithm of the prompt length
- p divided by one minus p
- Ztráta ORPO je nejlépe popsána jako která kombinace?
- Křížová entropie SFT plus preferenční termín váženého poměru šancí
- Pouze skóre modelu odměny
- Čistý návrat k posilování a učení
- Náhodné vstřikování hluku
- Which response receives the supervised fine-tuning component of ORPO?
- Only the rejected response
- The chosen or preferred response
- A response sampled after deployment
- No response; ORPO has no language-modeling term
- Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
- Velikost slovní zásoby tokenizeru
- Počet hlav pozornosti
- The preference-loss coefficient
- The prompt’s character count
- Why should an ORPO result report its preference data and evaluation setup?
- ORPO results are identical across datasets
- The objective removes the need for evaluation
- The number of model layers determines every preference
- Outcomes depend on the dataset, coefficient, base model, and evaluation