Optimizarea Kahneman-Tversky
Optimizarea Kahneman-Tversky (KTO) este o metodă de aliniere care învață din etichete simple cu degetul în sus sau în jos în loc de comparații pereche.
Prezentare generală
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Scufundare în profunzime
KTO, introdus de Ethayarajh și colegii de la Stanford și Contextual AI în 2024, împrumută din teoria prospectului, lucrarea câștigătoare a premiului Nobel a lui Daniel Kahneman și Amos Tversky despre modul în care oamenii apreciază câștigurile și pierderile. Metodele standard precum DPO au nevoie de perechi de preferințe: un răspuns ales și unul respins pentru același prompt. În schimb, KTO funcționează cu date nepereche, în care fiecare ieșire individuală este pur și simplu marcată ca dezirabilă sau nedorită. Construiește o pierdere conștientă de om care tratează îmbunătățirea modelului pe un eșantion ca un câștig sau o pierdere în raport cu un punct de referință, aplicând aversiunea la pierdere, astfel încât rezultatele nedorite să fie penalizate mai puternic decât cele dorite sunt recompensate. Acest lucru permite echipelor să folosească semnalele abundente de sus/jos deja colectate în aplicațiile de producție.
Perspectivă tehnică
KTO definește o funcție de valoare modelată pe teoria prospectului, măsurând cât de mult se află recompensa implicită a unui răspuns deasupra sau sub o linie de referință (de multe ori divergența medie KL față de politica de referință). Exemplele de dorit împing valoarea în sus, cele nedorite o împing în jos, iar un coeficient de aversiune la pierdere face ca abaterile negative să fie mai grele. În mod esențial, are nevoie doar de o etichetă per exemplu, nu de perechi potrivite.
Impact strategic
Viteză și scară
Fluxurile de lucru lingvistice se pot deplasa mai rapid fără a sacrifica consistența.
Acces și acoperire
Extinde accesul în diferite limbi și stiluri de comunicare.
Decizii mai clare
Echipele pot petrece mai mult timp jucând în timp ce automatizarea se ocupă de repetiție.
Viitorul optimizării Kahneman-Tversky
KTO se potrivește bine produselor reale, în care utilizatorii dau clic în mod natural pe like sau nu, dar rareori clasează două răspunsuri unul lângă altul. Așteptați-vă la o adoptare mai largă pentru buclele de îmbunătățire continuă care reciclează feedback-ul de producție, plus cercetarea de ajustare a raportului de date de dorit-nedorit și a greutății de aversiune la pierdere. Combinarea cadrului economic-comportamental al KTO cu alte obiective și aplicarea acesteia la feedback-ul multimodal sunt direcții active, pe măsură ce echipele caută alinierea la semnalele dezordonate din lumea reală.
Implementare în lumea reală
Folosind clicuri în sus/degetul în jos de la un chatbot implementat pentru a-l ajusta fără a construi vreodată perechi de preferințe
Alinierea unui model atunci când aveți o grămadă de răspunsuri „bune” și „rele”, dar nu există comparații potrivite pentru aceleași solicitări
O echipă de produs care reciclează semnale de moderare (nedorite) și răspunsuri salvate (de dorit) în instruirea KTO
Gestionarea feedback-ului dezechilibrat în cazul în care antipatiile sunt mai rare decât aprecierile prin reglarea aversiunii la pierdere și a greutăților de clasă ale KTO
Riscuri și balustrade
Faptele halucinate pot intra în liniște în rapoarte, fluxuri de sprijin sau rezultate ale cercetării.
Sensibilitatea promptă poate crea rezultate inconsecvente pentru solicitări similare.
Datele text sensibile pot fi expuse dacă controalele de acces sunt slabe.
Foaia de parcurs de implementare
Definiți formatul de ieșire, tonul și standardele de calitate înainte de lansare.
Răspunsurile la sol cu surse de încredere ori de câte ori acuratețea contează.
Păstrați un punct de control uman pentru rezultate cu mize mari.
Urmăriți tiparele de eșec și reantrenați în mod regulat solicitările sau fluxurile de lucru.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Kahneman-Tversky Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Optimizarea directă a preferințelor
Întrebări frecvente
What is Kahneman-Tversky Optimization?
Optimizarea Kahneman-Tversky (KTO) este o metodă de aliniere care învață din etichete simple cu degetul în sus sau în jos în loc de comparații pereche. Contează deoarece feedback-ul binar este mult mai ușor și mai ieftin de colectat decât cer perechile clasate pe cele mai multe metode.
Ce fel de date necesită KTO?
KTO învață mai degrabă din etichetele simple pentru fiecare exemplu de degetul mare sus/jos, decât din perechile de preferințe potrivite.
KTO este inspirat din ce corp de lucru?
KTO împrumută ideea teoriei prospectului de a evalua câștigurile și pierderile în mod asimetric, de unde și numele.
Ce este „aversiune la pierdere” așa cum este folosită în KTO?
Teoria prospectului spune că pierderile sunt mai mari decât câștigurile, astfel încât KTO cântărește mai mult abaterile negative.
În comparație cu DPO, KTO este util mai ales când ai ce?
KTO strălucește atunci când feedback-ul reprezintă semnale binare neîmperecheate, pe care produsele le colectează mult mai ușor decât perechile clasate.
În KTO, abaterile sunt măsurate în raport cu ce?
Funcția de valoare a KTO judecă dacă un răspuns se află deasupra sau sub o linie de referință, tratând asta ca pe un câștig sau o pierdere.