Termín glosář AI

co je DPO (přímá optimalizace preferencí)?

Definice

Tréninková metoda, která dolaďuje modely přímo na preferenčních párech bez nutnosti samostatného modelu odměn.

Související pojmy

Posílení učení z lidské zpětné vazby (RLHF)
Tréninková metoda, která využívá signály lidských preferencí k formování chování modelu.
Po tréninku
Školicí kroky aplikované po předběžném školení, jako je ladění instrukcí, optimalizace preferencí a ladění bezpečnosti.
Průběžné učení
Tréninkové přístupy, které umožňují modelu neustále se učit z nových dat, aniž by zapomínal na předchozí znalosti.
Jemné doladění
Pokračující školení o datech specifických pro doménu, aby bylo možné předem trénovaný model přizpůsobit konkrétnímu úkolu.
Gradientní sestup
Optimalizační metoda, která aktualizuje parametry ve směru, který snižuje chyby.
Ladění instrukcí
Jemné doladění modelu na párech instrukce-odpověď pro zlepšení plnění úkolů.

Více se dozvíte v našich bezplatných průvodcích

AI Inference OptimizationBidirectional Recurrent NetworksSecond-Order Optimization and Newton MethodsOdds Ratio Preference Optimization

Viz také

Tree of ThoughtsQLoRAReActFlash AttentionAgentic LoopMulti-Head AttentionMCP (Model Context Protocol)Positional Encoding
Projděte si celý glosář AIProzkoumejte všechny bezplatné průvodce AI