Quiz dotyczący optymalizacji preferencji ilorazu szans

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna praktyczna przewaga ORPO nad metodami takimi jak DPO?
   • Eliminuje to potrzebę oddzielnego modelu referencyjnego
   • Nie wymaga żadnych danych treningowych
   • Działa tylko na modelach obrazu
   • Gwarantuje zero halucynacji
2. Co porównuje „iloraz szans” w ORPO?
   • Szybkość treningu a dokładność
   • Szanse wybranej odpowiedzi w porównaniu z odpowiedzią odrzuconą
   • Dwa różne tempa uczenia się
   • Rozmiar modelu a rozmiar zbioru danych
3. What form does an ORPO preference example contain?
   • Only a single unlabeled response
   • A prompt with two identical completions
   • A prompt with one chosen response and one disfavored response
   • A reward score with no associated responses
4. How does ORPO convert a response probability p into odds?
   • One minus p divided by p
   • The square root of p
   • The logarithm of the prompt length
   • p divided by one minus p
5. Jaka kombinacja najlepiej opisuje stratę ORPO?
   • Entropia krzyżowa SFT plus termin preferencyjny ważonego ilorazu szans
   • Tylko wynik w modelu nagrody
   • Czysty powrót do nauki poprzez wzmocnienie
   • Losowy wtrysk hałasu
6. Which response receives the supervised fine-tuning component of ORPO?
   • Only the rejected response
   • The chosen or preferred response
   • A response sampled after deployment
   • No response; ORPO has no language-modeling term
7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
   • Rozmiar słownictwa tokenizera
   • Liczba głów uwagi
   • The preference-loss coefficient
   • The prompt’s character count
8. Why should an ORPO result report its preference data and evaluation setup?
   • ORPO results are identical across datasets
   • The objective removes the need for evaluation
   • The number of model layers determines every preference
   • Outcomes depend on the dataset, coefficient, base model, and evaluation