LegközelebbKövetkező útmutató
Közvetlen preferenciaoptimalizálás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
ORPO combines supervised fine-tuning with an odds-ratio preference penalty in one training phase and does not require a separate reference model.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Its behavior depends on the preference data, objective settings, and implementation.
Odds Ratio Preference Optimization starts with supervised fine-tuning on preferred responses and adds a penalty that contrasts the policy’s odds for chosen and disfavored responses. This monolithic objective avoids a separate reference model and a distinct preference-optimization phase. The paper describes the objective as a way to apply preference alignment during SFT; it does not mean that every data pipeline or implementation uses no auxiliary components. The odds transformation produces a different penalty shape from a raw log-probability difference. Outcomes depend on the preference dataset, coefficient, base model, and evaluation. ORPO is a training method, not an inference-time decoding rule or a guarantee that preferences are faithfully represented.
A nyílt forráskódú 7B csevegési modell finomhangolása preferenciapárokon a második referenciapéldány betöltése nélkül, a GPU-memória felére csökkentése
Egy induló vállalkozás, amely az ügyfélszolgálati asszisztenst az SFT-then-DPO helyett az udvarias, szabályszerű válaszokat részesíti előnyben egyetlen képzésben.
A kutatók összehasonlítják az ORPO-t a DPO-val ugyanazon az adatkészleten, hogy összehasonlítható igazodást mutassanak az alacsonyabb számítási sebességgel
Alapmodell adaptálása egy speciális területre (pl. jogi szövegezés), ahol rendelkezésre állnak jó és rossz példapárok, de a jutalommodell költségvetése nem
Az ORPO egyre nagyobb teret hódít, mert csökkenti a memóriát és a számításokat a referenciamodell elhagyásával, ami vonzó a korlátozott hardvereken finomhangoló csapatok számára. Várhatóan gyakrabban jelenik meg a nyílt forráskódú receptekben, és alapértelmezett beállításként olyan könyvtárakban, mint a Hugging Face TRL. A jövőbeni munkák valószínűleg automatikusan behangolják a lambda súlyozást, az ORPO-t más referencia-mentes objektívekkel keverik, és kiterjesztik a multimodális és nagyon nagy modellekre, ahol két másolat tárolása a memóriában költséges.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
ORPO combines supervised fine-tuning with an odds-ratio preference penalty in one training phase and does not require a separate reference model. Its behavior depends on the preference data, objective settings, and implementation.
Az ORPO a preferenciák tanulását az SFT veszteségbe hajtja, és nincs szüksége a modell lefagyott referenciapéldányára, így memóriát és számítást takarít meg.
Az ORPO az esélyek arányát (p/(1-p)) használja, amelyet a modell a preferált és a nem preferált válaszhoz rendel.
ORPO uses chosen and rejected responses for the same prompt to form its preference comparison.
Odds are computed as p/(1−p); ORPO applies this transformation when forming its preference term.
Az ORPO súlyozott log-szigmoid esélyhányados kifejezést ad hozzá a felügyelt keresztentrópia veszteséghez.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Közvetlen preferenciaoptimalizálás
Nyelvi AI