DalšíDalší průvodce
Přímá optimalizace preferencí
Jazyk AI
Jazyk AI GUIDE
Optimalizace Kahneman-Tversky (KTO) je metoda zarovnání, která se místo párových porovnávání učí z jednoduchých označení s palcem nahoru nebo dolů.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
KTO, kterou představil Ethayarajh a kolegové ze Stanfordu a Contextual AI v roce 2024, si půjčuje z prospektové teorie, Nobelovy ceny Daniela Kahnemana a Amose Tverského o tom, jak si lidé váží zisků a ztrát. Standardní metody, jako je DPO, potřebují páry preferencí: zvolenou a odmítnutou odpověď pro stejnou výzvu. KTO místo toho pracuje s nepárovými daty, kde je každý jednotlivý výstup jednoduše označen jako žádoucí nebo nežádoucí. Vytváří lidsky uvědomělou ztrátu, která zachází se zlepšením modelu na vzorku jako se ziskem nebo ztrátou ve vztahu k referenčnímu bodu, přičemž aplikuje averzi ke ztrátě, takže nežádoucí výstupy jsou penalizovány ostřeji než žádoucí. To týmům umožňuje používat hojné signály palce nahoru/dolů, které již byly shromážděny v produkčních aplikacích.
Pomocí kliknutí palec nahoru/dolů z nasazeného chatbota jej doladíte, aniž byste museli vytvářet páry preferencí
Zarovnání modelu, když máte hromadu „dobrých“ a „špatných“ odpovědí, ale žádná odpovídající srovnání pro stejné výzvy
Produktový tým recykluje příznaky moderování (nežádoucí) a uložené odpovědi (žádoucí) do školení KTO
Zvládání nevyvážené zpětné vazby tam, kde jsou nesympatie vzácnější než lajky, laděním averze ke ztrátě a vah třídy KTO
KTO se dobře hodí pro skutečné produkty, kde uživatelé přirozeně kliknou na to, že se mi líbí nebo nelíbí, ale jen zřídka řadí dvě odpovědi vedle sebe. Očekávejte širší přijetí smyček neustálého zlepšování, které recyklují zpětnou vazbu z výroby, plus výzkum ladící poměr mezi žádoucími a nežádoucími daty a váhu averze ke ztrátě. Kombinace behaviorálně-ekonomického rámce KTO s dalšími cíli a jejich aplikace na multimodální zpětnou vazbu jsou aktivními směry, jak týmy hledají sladění s chaotickými signály z reálného světa.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Optimalizace Kahneman-Tversky (KTO) je metoda zarovnání, která se místo párových porovnávání učí z jednoduchých označení s palcem nahoru nebo dolů. Je to důležité, protože binární zpětnou vazbu je mnohem snazší a levnější sbírat, než požaduje většina metod seřazených párů.
KTO se učí spíše z jednoduchých označení s palcem nahoru/dolů na příkladu než z párů shodných preferencí.
KTO si vypůjčuje myšlenku prospektové teorie o asymetrickém oceňování zisků a ztrát, odtud název.
Prospektová teorie říká, že ztráty jsou větší než zisky, takže KTO více váží záporné odchylky.
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
Hodnotová funkce KTO posuzuje, zda je odpověď nad nebo pod referenční základní linií, a považuje to za zisk nebo ztrátu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Přímá optimalizace preferencí
Jazyk AI