DalšíDalší průvodce
Přímá optimalizace preferencí
Jazyk AI
Jazyk AI GUIDE
ORPO combines supervised fine-tuning with an odds-ratio preference penalty in one training phase and does not require a separate reference model.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Its behavior depends on the preference data, objective settings, and implementation.
Odds Ratio Preference Optimization starts with supervised fine-tuning on preferred responses and adds a penalty that contrasts the policy’s odds for chosen and disfavored responses. This monolithic objective avoids a separate reference model and a distinct preference-optimization phase. The paper describes the objective as a way to apply preference alignment during SFT; it does not mean that every data pipeline or implementation uses no auxiliary components. The odds transformation produces a different penalty shape from a raw log-probability difference. Outcomes depend on the preference dataset, coefficient, base model, and evaluation. ORPO is a training method, not an inference-time decoding rule or a guarantee that preferences are faithfully represented.
Jemné doladění modelu chatu s otevřeným zdrojovým kódem 7B na preferenčních párech bez načítání druhé referenční kopie, snížení paměti GPU na polovinu
Startup, který přizpůsobuje asistenta zákaznické podpory tak, aby upřednostňoval zdvořilé a zásadové odpovědi v jednom školení namísto SFT-then-DPO
Výzkumníci porovnávající ORPO a DPO na stejném souboru dat, aby ukázali srovnatelné zarovnání s nižším výpočtem
Přizpůsobení základního modelu specializované doméně (např. právní návrhy), kde jsou k dispozici dobré a špatné příklady, ale rozpočet modelu odměny není
ORPO získává na síle, protože omezuje paměť a výpočetní kapacitu tím, že upouští od referenčního modelu, což je atraktivní pro týmy, které dolaďují na omezeném hardwaru. Očekávejte, že se bude častěji objevovat v receptech s otevřeným zdrojovým kódem a jako výchozí možnost v knihovnách, jako je Hugging Face TRL. Budoucí práce pravděpodobně vyladí lambda váhu automaticky, spojí ORPO s dalšími bezreferenčními objektivy a rozšíří jej na multimodální a velmi velké modely, kde je uložení dvou kopií v paměti nákladné.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
ORPO combines supervised fine-tuning with an odds-ratio preference penalty in one training phase and does not require a separate reference model. Its behavior depends on the preference data, objective settings, and implementation.
ORPO skládá preferenční učení do ztráty SFT a nepotřebuje zmrazenou referenční kopii modelu, což šetří paměť a výpočet.
ORPO používá poměr šancí (p/(1-p)), které model přiřadí preferované odpovědi oproti neupřednostňované.
ORPO uses chosen and rejected responses for the same prompt to form its preference comparison.
Odds are computed as p/(1−p); ORPO applies this transformation when forming its preference term.
ORPO přidává vážený log-sigmoidní poměr pravděpodobnosti nad rámec kontrolované ztráty křížové entropie.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Přímá optimalizace preferencí
Jazyk AI