LegközelebbKövetkező útmutató
Közvetlen preferenciaoptimalizálás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A Kahneman-Tversky Optimization (KTO) egy olyan igazítási módszer, amely a páros összehasonlítások helyett egyszerű „tetszik” vagy „nem tetszik” címkékből tanul.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
A KTO, amelyet Ethayarajh és munkatársai a Stanfordnál és a Contextual AI-nél 2024-ben vezettek be, a kilátáselméletből, Daniel Kahneman és Amos Tversky Nobel-díjas munkájából vett kölcsönt arról, hogyan értékelik az emberek a nyereségeket és a veszteségeket. Az olyan szabványos módszerekhez, mint az adatvédelmi tisztviselő, preferenciapárokra van szükség: egy kiválasztott és egy elutasított válaszra ugyanahhoz a kérdéshez. A KTO ehelyett nem párosított adatokkal dolgozik, ahol minden egyes kimenet egyszerűen kívánatosnak vagy nemkívánatosnak van megjelölve. Ember-tudatos veszteséget épít fel, amely a modell javítását a mintán a referenciaponthoz képest nyereségként vagy veszteségként kezeli, veszteségkerülést alkalmazva, így a nemkívánatos kimeneteket élesebben büntetik, mint a kívánatosakat. Ez lehetővé teszi a csapatok számára, hogy felhasználják az éles alkalmazásokban már összegyűjtött bőséges „tetszik fel/le” jeleket.
A telepített chatbot „tetszik fel/nem tetszik” kattintásai segítségével finomhangolhatja azt anélkül, hogy preferenciapárokat építene
Modell összehangolása, ha van egy halom „jó” és „rossz” válasz, de nincs megfelelő összehasonlítás ugyanazokhoz a kérdésekhez
A termékcsapat a moderálási jelzőket (nem kívánatos) és a mentett válaszokat (kívánatos) újrahasznosítja a KTO képzésben
Kiegyensúlyozatlan visszajelzések kezelése, ahol az ellenszenv ritkább, mint a tetszésnyilvánítás a KTO veszteségkerülő és osztálysúlyának hangolásával
A KTO jól illeszkedik a valódi termékekhez, ahol a felhasználók természetesen tetszésnyilvánításra vagy nemtetszésre kattintanak, de ritkán rangsorolnak két választ egymás mellé. Várhatóan szélesebb körben elterjednek a folyamatos fejlesztési körök, amelyek újrahasznosítják a termelési visszajelzéseket, valamint a kívánatos-nemkívánatos adatarányt és a veszteségkerülési súlyt hangoló kutatási eredményeket. A KTO viselkedési-ökonómiai kereteinek más célokkal való kombinálása, valamint annak multimodális visszacsatolásra való alkalmazása aktív irány, amikor a csapatok a való világ zavaros jelei alapján keresik az igazodást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Kahneman-Tversky Optimization (KTO) egy olyan igazítási módszer, amely a páros összehasonlítások helyett egyszerű „tetszik” vagy „nem tetszik” címkékből tanul. Ez azért fontos, mert a bináris visszajelzések gyűjtése sokkal egyszerűbb és olcsóbb, mint a legtöbb módszer által igényelt rangsorolt párok.
A KTO az egyszerű, példánkénti „tetszik fel/le” címkékből tanul, nem pedig az egyeztetett preferenciapárokból.
A KTO kölcsönveszi a kilátáselmélet azon elképzelését, amely szerint a nyereséget és a veszteséget aszimmetrikusan kell értékelni, innen ered a név.
A kilátáselmélet szerint a veszteségek nagyobbak, mint a nyereségek, ezért a KTO nagyobb súlyt ad a negatív eltéréseknek.
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
A KTO értékfüggvénye megítéli, hogy a válasz egy referencia alapvonal felett vagy alatt van-e, és ezt nyereségként vagy veszteségként kezeli.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Közvetlen preferenciaoptimalizálás
Nyelvi AI