PRŮVODCE Základy

Bradley-Terry modelování odměn

Bradley-Terryho model je sto let stará statistická metoda pro přeměnu párových srovnání (A bije B) na číselná skóre.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost Bradley-Terryho modelování odměn
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.

Hluboký ponor

Bradley-Terry, představený v roce 1952, předpokládá, že každá položka má skryté skóre síly a pravděpodobnost, že položka A porazí položku B, je logistickou funkcí rozdílu ve skóre. Při zarovnání AI se to úhledně mapuje na preferenční data: lidští označovači vidí dvě modelové reakce a vyberou si tu lepší, místo aby dávali těžko kalibrovatelné absolutní hodnocení. Model odměny, obvykle jazykový model se skalární výstupní hlavou, je trénován tak, aby odpověď, kterou lidé preferovali, získala vyšší skalární odměnu. Ztráta je záporná logaritmická pravděpodobnost pravděpodobnosti Bradley-Terry: maximalizujte log-sigmoidu (odměna zvoleného mínus odměna odmítnutého). Výsledný model odměny pak vyhodnocuje libovolné výstupy a poskytuje signál, podle kterého se optimalizují výukové algoritmy jako PPO, aby byly modely užitečnější a sladěné.

Real-World Implementace

Trénink modelu odměny v RLHF, který seřadí dvě odpovědi chatbota a přivede lepší a horší signál k jemnému doladění PPO.

Přímá optimalizace preferencí dolaďuje model přímo na vybraných párech odpovědí versus zamítnuté pomocí Bradley-Terryho log-sigmoid ztráty.

Hodnocení hráčů šachů nebo esportů prostřednictvím Elo, což je matematicky blízký bratranec Bradley-Terryho modelu na výsledky hry.

Vytváření hodnocení doporučení obsahu z údajů o kliknutích „uživatelé preferovali A před B“ namísto absolutních hodnocení hvězdičkami.

Budoucnost Bradley-Terryho modelování odměn

Bradley-Terry předpokládá jediné konzistentní pořadí a tranzitivní preference, které se zhroutí, když lidé nesouhlasí nebo se preference zacyklí. Výzkum se posouvá směrem k modelům, které zachycují distribuce preferencí, multidimenzionálním odměnám (užitečnost, bezpečnost, poctivost bodované samostatně) a metodám, jako je Nashovo učení z lidské zpětné vazby, které upouští od předpokladu jediného skóre. DPO a jeho varianty stále více skládají Bradley-Terryho cíl přímo do školení o politice. Očekávejte bohatší srovnávací schémata, včetně hodnocení více než dvou položek a preferencí vážených spolehlivostí, aby se omezilo hackování odměn.

Uvedení do praxe

Proč na tom záleží

  • Jasnější rozhodnutí. Pomůže vám oddělit jasná technická tvrzení od marketingového jazyka.
  • Cena a rozpočet. Než utratíte peníze nebo čas, můžete se zeptat na lepší implementační otázky.
  • Tým a pracovní postup. Týmy se sdíleným porozuměním dělají lepší rozhodnutí o produktech, zásadách a učení.

Pozor na

  • Různé týmy mohou používat stejný termín odlišně, proto definujte rozsah včas.
  • Srovnávací testy mohou vypadat dobře, zatímco výkon v reálném světě je nerovnoměrný.
  • Ignorování kvality dat a plánů hodnocení často vytváří křehké výsledky.

Další kroky

  1. Začněte s jasnou definicí výsledku, který potřebujete.
  2. Před testováním vyberte jednu metriku úspěchu a jednu podmínku selhání.
  3. Spusťte malý pilotní projekt s reprezentativními údaji, nikoli leštěnou ukázkovou sadu.
  4. Zdokumentujte, kde Bradley-Terry Reward Modeling pomáhá a kde jsou jednodušší metody lepší.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Bradley-Terry Reward Modeling quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Bradley-Terry Reward Modeling?

Bradley-Terryho model je sto let stará statistická metoda pro přeměnu párových srovnání (A bije B) na číselná skóre. V moderní AI podporuje modely odměn, které se učí lidské preference z toho, která odpověď je lepší? štítky, páteř RLHF.

Co Bradley-Terryho model převádí na číselná skóre?

Bradley-Terry provádí párová srovnání „A bije B“ a odvozuje skryté skóre síly pro každou položku, což je důvod, proč tak dobře odpovídá označení lidských preferencí.

V Bradley-Terrym je pravděpodobnost, že A porazí B, funkcí čeho?

Model nastaví P(A bije B) rovnající se logistické (sigmoide) rozdílu mezi skóre skryté síly A a B.

Proč jsou odměny Bradley-Terry identifikovatelné pouze do aditivní konstanty?

Tréninková ztráta využívá pouze rozdíl mezi vybranými a odmítnutými odměnami, takže posunutí všech skóre o stejnou konstantu ponechá ztrátu nezměněnou; absolutní měřítko je libovolné.

Jaká je standardní ztráta pro srovnání jedné preference v modelování odměn?

Bradley-Terry negativní log-pravděpodobnost se snižuje na mínus log-sigmoid vybraného-mínus-zamítnutého rozdílu odměny, čímž se odměna zvolené odpovědi posouvá výše.

Která metoda přeskakuje samostatný model odměn optimalizací cíle Bradley-Terry přímo na politiku?

DPO přeformuluje cíl preferencí Bradley-Terry tak, aby jej bylo možné použít přímo na model politiky, čímž odpadá nutnost trénovat a dotazovat se na samostatný model odměn.