DalšíDalší průvodce
Normalizace délky v Preference Optimization
Základy
PRŮVODCE Základy
Iterativní DPO opakovaně přizpůsobuje jazykový model lidským preferencím nebo preferencím AI generováním nových odpovědí, jejich hodnocením a laděním těchto nových párů v každém kole.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože statická, jednorázová data preferencí se zastarají, zatímco iterace udržuje trénovací signál v platnosti a model se zlepšuje.
Direct Preference Optimization (DPO) skips training a separate reward model: given preferred and rejected responses, it adjusts the policy with a classification-style loss derived from the RLHF objective. Vanilla DPO trains on a fixed dataset, which may become off-policy as the model changes. Iterative DPO closes the loop: the current policy samples responses, human raters or an AI judge compare them, and the next DPO update trains on these fresh pairs. Repeating rounds incurs additional sampling and labeling costs. If the model judges its own outputs, its judgments can also inherit its biases, so independent checks and held-out evaluation remain useful.
Uspořádání chatového asistenta v několika kolech, pokaždé vzorkování nových odpovědí a jejich přehodnocení, aby se zvýšila užitečnost
Sebeodměňovací nastavení, kde model generuje a posuzuje své vlastní páry odpovědí, aby zavedl lepší data preferencí
Snížení výřečnosti odpovědí přidáním DPO s řízenou délkou v pozdějších iteracích, jakmile bude stanovena nezpracovaná kvalita
Adaptace domény, jako je iterativní ladění modelu kódování na čerstvě vygenerovaných párech řešení posuzovaných podle výsledků testu
Preference tuning can become more continuous and automated, but each round depends on the judge’s reliability, data coverage, and evaluation that is not reused as training signal. Self-rewarding systems need checks for self-confirming errors, and online cycles need cost and quality measurement at every iteration.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Iterativní DPO opakovaně přizpůsobuje jazykový model lidským preferencím nebo preferencím AI generováním nových odpovědí, jejich hodnocením a laděním těchto nových párů v každém kole. Je to důležité, protože statická, jednorázová data preferencí se zastarají, zatímco iterace udržuje trénovací signál v platnosti a model se zlepšuje.
DPO optimalizuje politiku přímo z párů preferencí, čímž eliminuje samostatný model odměn a smyčku RL, kterou používá RLHF založená na PPO.
Regenerace a přejmenování odpovědí v každém kole udržuje data v souladu se současnou politikou, čímž se snižuje posun v distribuci a nadměrné přizpůsobení zastaralým srovnáním.
DPO porovnává logaritmické pravděpodobnosti politiky a reference; poměr funguje jako implicitní odměna a omezuje, jak daleko se politika posune.
Každá smyčka generuje čerstvá dokončení z aktuálního modelu, soudce je hodnotí a aplikuje aktualizaci DPO na nové páry.
Beta funguje jako teplota na implicitní odměně a vyměňuje se za to, že zůstanete blízko reference proti přizpůsobení preferencím.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Normalizace délky v Preference Optimization
Základy