Mai departeUrmătorul ghid
Optimizarea directă a preferințelor
AI limbaj
GHID AI limbaj
Optimizarea Kahneman-Tversky
Optimizarea Kahneman-Tversky (KTO) este o metodă de aliniere care învață din etichete simple cu degetul în sus sau în jos în loc de comparații pereche.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Contează deoarece feedback-ul binar este mult mai ușor și mai ieftin de colectat decât cer perechile clasate pe cele mai multe metode.
Scufundare în profunzime
KTO, introdus de Ethayarajh și colegii de la Stanford și Contextual AI în 2024, împrumută din teoria prospectului, lucrarea câștigătoare a premiului Nobel a lui Daniel Kahneman și Amos Tversky despre modul în care oamenii apreciază câștigurile și pierderile. Metodele standard precum DPO au nevoie de perechi de preferințe: un răspuns ales și unul respins pentru același prompt. În schimb, KTO funcționează cu date nepereche, în care fiecare ieșire individuală este pur și simplu marcată ca dezirabilă sau nedorită. Construiește o pierdere conștientă de om care tratează îmbunătățirea modelului pe un eșantion ca un câștig sau o pierdere în raport cu un punct de referință, aplicând aversiunea la pierdere, astfel încât rezultatele nedorite să fie penalizate mai puternic decât cele dorite sunt recompensate. Acest lucru permite echipelor să folosească semnalele abundente de sus/jos deja colectate în aplicațiile de producție.
Implementare în lumea reală
Folosind clicuri în sus/degetul în jos de la un chatbot implementat pentru a-l ajusta fără a construi vreodată perechi de preferințe
Alinierea unui model atunci când aveți o grămadă de răspunsuri „bune” și „rele”, dar nu există comparații potrivite pentru aceleași solicitări
O echipă de produs care reciclează semnale de moderare (nedorite) și răspunsuri salvate (de dorit) în instruirea KTO
Gestionarea feedback-ului dezechilibrat în cazul în care antipatiile sunt mai rare decât aprecierile prin reglarea aversiunii la pierdere și a greutăților de clasă ale KTO
Viitorul optimizării Kahneman-Tversky
KTO se potrivește bine produselor reale, în care utilizatorii dau clic în mod natural pe like sau nu, dar rareori clasează două răspunsuri unul lângă altul. Așteptați-vă la o adoptare mai largă pentru buclele de îmbunătățire continuă care reciclează feedback-ul de producție, plus cercetarea de ajustare a raportului de date de dorit-nedorit și a greutății de aversiune la pierdere. Combinarea cadrului economic-comportamental al KTO cu alte obiective și aplicarea acesteia la feedback-ul multimodal sunt direcții active, pe măsură ce echipele caută alinierea la semnalele dezordonate din lumea reală.
Punând-o în practică
De ce contează
- Viteză și scară. Fluxurile de lucru lingvistice se pot deplasa mai rapid fără a sacrifica consistența.
- Acces și acoperire. Extinde accesul în diferite limbi și stiluri de comunicare.
- Decizii mai clare. Echipele pot petrece mai mult timp jucând în timp ce automatizarea se ocupă de repetiție.
Atenție la
- Faptele halucinate pot intra în liniște în rapoarte, fluxuri de sprijin sau rezultate ale cercetării.
- Sensibilitatea promptă poate crea rezultate inconsecvente pentru solicitări similare.
- Datele text sensibile pot fi expuse dacă controalele de acces sunt slabe.
Următorii pași
- Definiți formatul de ieșire, tonul și standardele de calitate înainte de lansare.
- Răspunsurile la sol cu surse de încredere ori de câte ori acuratețea contează.
- Păstrați un punct de control uman pentru rezultate cu mize mari.
- Urmăriți tiparele de eșec și reantrenați în mod regulat solicitările sau fluxurile de lucru.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Kahneman-Tversky Optimization quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este optimizarea Kahneman-Tversky?
Optimizarea Kahneman-Tversky (KTO) este o metodă de aliniere care învață din etichete simple cu degetul în sus sau în jos în loc de comparații pereche. Contează deoarece feedback-ul binar este mult mai ușor și mai ieftin de colectat decât cer perechile clasate pe cele mai multe metode.
Ce fel de date necesită KTO?
KTO învață mai degrabă din etichetele simple pentru fiecare exemplu de degetul mare sus/jos, decât din perechile de preferințe potrivite.
KTO este inspirat din ce corp de lucru?
KTO împrumută ideea teoriei prospectului de a evalua câștigurile și pierderile în mod asimetric, de unde și numele.
Ce este „aversiune la pierdere” așa cum este folosită în KTO?
Teoria prospectului spune că pierderile sunt mai mari decât câștigurile, astfel încât KTO cântărește mai mult abaterile negative.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
În KTO, abaterile sunt măsurate în raport cu ce?
Funcția de valoare a KTO judecă dacă un răspuns se află deasupra sau sub o linie de referință, tratând asta ca pe un câștig sau o pierdere.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect