LegközelebbKövetkező útmutató
Jutalommodellezés
Nyelvi AI
Alapok ÚTMUTATÓ
A Bradley-Terry modell egy évszázados statisztikai módszer a páronkénti összehasonlítások (A veri B-t) numerikus pontszámokká alakítására.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A modern AI-ban olyan jutalmazási modelleket hoz létre, amelyek az emberi preferenciákat abból tanulják meg, hogy „melyik válasz a jobb?” címkék, az RLHF gerince.
Az 1952-ben bemutatott Bradley-Terry azt feltételezi, hogy minden elemnek rejtett erősségi pontszáma van, és annak valószínűsége, hogy az A elem legyőzi a B elemet, a pontszám különbségének logisztikai függvénye. A mesterséges intelligencia igazítása során ez szépen leképez a preferenciaadatokra: az emberi címkézők két modellválaszt látnak, és a jobbat választják, ahelyett, hogy nehezen kalibrálható abszolút értékeléseket adnának. A jutalmazási modell, általában a skaláris kimeneti fejjel rendelkező nyelvi modell, úgy van kiképezve, hogy az emberek által preferált válasz magasabb skaláris jutalmat kapjon. A veszteség a Bradley-Terry valószínűség negatív log-valószínűsége: maximalizálja a log-szigmoidot (a választott jutalma mínusz az elutasított jutalma). Az eredményül kapott jutalmazási modell ezután tetszőleges kimeneteket pontoz, és azt a jelet adja, amelyre a megerősítő tanulási algoritmusok (például a PPO) optimalizálnak, hogy a modelleket hasznosabbá és összehangoltabbá tegyék.
A jutalommodell betanítása RLHF-ben, amely rangsorol két chatbot-választ, és a jobb-rosszabb jelet továbbítja a PPO finomhangolásához.
A közvetlen preferenciaoptimalizálás a modell finomhangolása közvetlenül a kiválasztott-elutasított válaszpárokon a Bradley-Terry log-szigmoid veszteséggel.
A sakk- vagy esportjátékosok rangsorolása az Elo-n keresztül, amely matematikailag közeli rokona a Bradley-Terry-modellnek a játék kimenetelével kapcsolatban.
Tartalmi ajánlások rangsorának felépítése az abszolút csillagos értékelések helyett az „A-t preferált felhasználók B helyett” kattintási adatokból.
Bradley-Terry egyetlen következetes rangsorolást és tranzitív preferenciákat feltételez, amelyek felbomlanak, ha az emberek nem értenek egyet, vagy a preferenciák körbefordulnak. A kutatás olyan modellek felé halad, amelyek megragadják a preferenciaeloszlást, a többdimenziós jutalmakat (a segítőkészséget, a biztonságot, az őszinteséget külön pontozzák) és az olyan módszereket, mint a Nash az emberi visszajelzésekből való tanulás, amelyek elvetik az egypontos feltételezést. Az adatvédelmi tisztviselő és változatai a Bradley-Terry-célkitűzést egyre inkább közvetlenül a szakpolitikai képzésbe építik be. Gazdagabb összehasonlítási sémákra számíthat, beleértve a kettőnél több elem rangsorolását és a bizalommal súlyozott preferenciákat, a jutalomhackelés csökkentése érdekében.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Bradley-Terry modell egy évszázados statisztikai módszer a páronkénti összehasonlítások (A veri B-t) numerikus pontszámokká alakítására. A modern AI-ban olyan jutalmazási modelleket hoz létre, amelyek abból tanulják meg az emberi preferenciákat, hogy „melyik válasz a jobb?” címkék, az RLHF gerince.
Bradley-Terry páronként veszi az „A legyőzi B-t” összehasonlításokat, és kikövetkezteti az egyes tételek rejtett erősségi pontszámát, ezért olyan jól illeszkedik az emberi preferenciák címkézéséhez.
A modell P(A veri B-t) egyenlőnek állítja az A és B rejtett erősségi pontszámai közötti különbség logisztikus (szigmoid) értékével.
Az edzési veszteség csak a választott és az elutasított jutalmak közötti különbséget használja fel, így ha az összes pontszámot ugyanazzal a konstanssal eltolja, a veszteség változatlan marad; az abszolút skála tetszőleges.
A Bradley-Terry negatív log-valószínűség a választott-mínusz-elutasított jutalom különbség mínusz log-szigmoidjára csökken, magasabbra tolva a választott válasz jutalmát.
Az adatvédelmi tisztviselő újrafogalmazza a Bradley-Terry preferencia célkitűzést, így közvetlenül alkalmazható a politikai modellre, így nincs szükség önálló jutalmazási modell betanítására és lekérdezésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Jutalommodellezés
Nyelvi AI