Nyelvi AI ÚTMUTATÓ

Kahneman-Tversky optimalizálás

A Kahneman-Tversky Optimization (KTO) egy olyan igazítási módszer, amely a páros összehasonlítások helyett egyszerű „tetszik” vagy „nem tetszik” címkékből tanul.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Kahneman-Tversky optimalizálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.

Mély merülés

A KTO, amelyet Ethayarajh és munkatársai a Stanfordnál és a Contextual AI-nél 2024-ben vezettek be, a kilátáselméletből, Daniel Kahneman és Amos Tversky Nobel-díjas munkájából vett kölcsönt arról, hogyan értékelik az emberek a nyereségeket és a veszteségeket. Az olyan szabványos módszerekhez, mint az adatvédelmi tisztviselő, preferenciapárokra van szükség: egy kiválasztott és egy elutasított válaszra ugyanahhoz a kérdéshez. A KTO ehelyett nem párosított adatokkal dolgozik, ahol minden egyes kimenet egyszerűen kívánatosnak vagy nemkívánatosnak van megjelölve. Ember-tudatos veszteséget épít fel, amely a modell javítását a mintán a referenciaponthoz képest nyereségként vagy veszteségként kezeli, veszteségkerülést alkalmazva, így a nemkívánatos kimeneteket élesebben büntetik, mint a kívánatosakat. Ez lehetővé teszi a csapatok számára, hogy felhasználják az éles alkalmazásokban már összegyűjtött bőséges „tetszik fel/le” jeleket.

Valós megvalósítás

A telepített chatbot „tetszik fel/nem tetszik” kattintásai segítségével finomhangolhatja azt anélkül, hogy preferenciapárokat építene

Modell összehangolása, ha van egy halom „jó” és „rossz” válasz, de nincs megfelelő összehasonlítás ugyanazokhoz a kérdésekhez

A termékcsapat a moderálási jelzőket (nem kívánatos) és a mentett válaszokat (kívánatos) újrahasznosítja a KTO képzésben

Kiegyensúlyozatlan visszajelzések kezelése, ahol az ellenszenv ritkább, mint a tetszésnyilvánítás a KTO veszteségkerülő és osztálysúlyának hangolásával

A Kahneman-Tversky optimalizálás jövője

A KTO jól illeszkedik a valódi termékekhez, ahol a felhasználók természetesen tetszésnyilvánításra vagy nemtetszésre kattintanak, de ritkán rangsorolnak két választ egymás mellé. Várhatóan szélesebb körben elterjednek a folyamatos fejlesztési körök, amelyek újrahasznosítják a termelési visszajelzéseket, valamint a kívánatos-nemkívánatos adatarányt és a veszteségkerülési súlyt hangoló kutatási eredményeket. A KTO viselkedési-ökonómiai kereteinek más célokkal való kombinálása, valamint annak multimodális visszacsatolásra való alkalmazása aktív irány, amikor a csapatok a való világ zavaros jelei alapján keresik az igazodást.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Kahneman-Tversky Optimization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Kahneman-Tversky Optimization?

A Kahneman-Tversky Optimization (KTO) egy olyan igazítási módszer, amely a páros összehasonlítások helyett egyszerű „tetszik” vagy „nem tetszik” címkékből tanul. Ez azért fontos, mert a bináris visszajelzések gyűjtése sokkal egyszerűbb és olcsóbb, mint a legtöbb módszer által igényelt rangsorolt ​​párok.

Milyen adatokat igényel a KTO?

A KTO az egyszerű, példánkénti „tetszik fel/le” címkékből tanul, nem pedig az egyeztetett preferenciapárokból.

Melyik munka ihlette a KTO-t?

A KTO kölcsönveszi a kilátáselmélet azon elképzelését, amely szerint a nyereséget és a veszteséget aszimmetrikusan kell értékelni, innen ered a név.

Mit jelent a „veszteségkerülés” a KTO-ban?

A kilátáselmélet szerint a veszteségek nagyobbak, mint a nyereségek, ezért a KTO nagyobb súlyt ad a negatív eltéréseknek.

What kind of feedback can KTO learn from without requiring paired comparisons?

KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.

A KTO-ban mihez képest mérik az eltéréseket?

A KTO értékfüggvénye megítéli, hogy a válasz egy referencia alapvonal felett vagy alatt van-e, és ezt nyereségként vagy veszteségként kezeli.