Modelarea recompenselor
Un model de recompensă este o rețea neuronală antrenată pentru a prezice cât de bun este un răspuns AI, acționând ca un substitut automat pentru judecata umană.
Prezentare generală
It is the scoring engine that makes reinforcement learning from human feedback possible at scale.
Scufundare în profunzime
Modelarea recompensei rezolvă o problemă practică: oamenii nu pot evalua fiecare dintre milioanele de rezultate pe care le generează un model în timpul antrenamentului. În schimb, etichetatorii compară un set mic de răspunsuri, alegând de obicei care dintre două răspunsuri la același prompt este mai bun. Un model de recompensă este apoi antrenat pe aceste comparații pentru a scoate un singur scor scalar pentru orice pereche de răspuns prompt. Obiectivul standard de antrenament este modelul Bradley-Terry, care transformă preferințele pe perechi într-o probabilitate ca un răspuns să depășească pe altul. Odată antrenat, acest model de recompensă poate evalua ieftin rezultate noi nelimitate, oferind semnalul pe care algoritmii precum PPO îl folosesc pentru a îmbunătăți modelul lingvistic. Modelele de recompensă sunt, de asemenea, reutilizate la momentul deducerii pentru eșantionarea cea mai bună dintre N, unde sunt generați mulți candidați și este returnat cel cu cel mai mare scor.
Perspectivă tehnică
Un model de recompensă este, de obicei, modelul limbajului de bază, cu capul său de predicție a simbolului înlocuit cu un singur strat liniar care emite un scalar. Antrenamentul maximizează log-probabilitatea ca răspunsul ales să aibă scoruri mai mari decât cel respins: pierdere = -log(sigmoid(r_chosen - r_rejected)). Doar diferența relativă contează, deci scara absolută este arbitrară. Calitatea depinde de consistența etichetei și de acoperirea largă a stilurilor de răspuns.
Impact strategic
Viteză și scară
Fluxurile de lucru lingvistice se pot deplasa mai rapid fără a sacrifica consistența.
Acces și acoperire
Extinde accesul în diferite limbi și stiluri de comunicare.
Decizii mai clare
Echipele pot petrece mai mult timp jucând în timp ce automatizarea se ocupă de repetiție.
Viitorul modelării recompenselor
Cercetările abordează cele mai mari puncte slabe ale modelelor de recompensă: acestea pot fi „pirate” (modelele exploatează ciudatenii precum favorizarea lungimii) și ies din distribuție pe măsură ce politica se îmbunătățește. Direcțiile promițătoare includ modele de recompensă de proces care punctează fiecare pas de raționament, ansambluri și estimări ale incertitudinii pentru a rezista la hacking, etichete de preferințe generate de AI (RLAIF) și modele de recompensă generativă care produc critici și argumente, mai degrabă decât un număr simplu.
Implementare în lumea reală
Alimentarea RLHF pentru asistenți precum ChatGPT și Claude prin notarea răspunsurilor candidaților în timpul instruirii PPO
Eșantionarea Best-of-N, în care un model generează multe răspunsuri și modelul de recompensă selectează cele mai bune pentru utilizator
„Verificatori” de matematică și codare sau modele de recompensă de proces care notează pași intermediari de raționament pentru a îmbunătăți rezolvarea problemelor
Clasificarea și filtrarea datelor de antrenament sintetice, păstrând doar generațiile cu scoruri ridicate pentru o reglare fină ulterioară
Riscuri și balustrade
Faptele halucinate pot intra în liniște în rapoarte, fluxuri de sprijin sau rezultate ale cercetării.
Sensibilitatea promptă poate crea rezultate inconsecvente pentru solicitări similare.
Datele text sensibile pot fi expuse dacă controalele de acces sunt slabe.
Foaia de parcurs de implementare
Definiți formatul de ieșire, tonul și standardele de calitate înainte de lansare.
Răspunsurile la sol cu surse de încredere ori de câte ori acuratețea contează.
Păstrați un punct de control uman pentru rezultate cu mize mari.
Urmăriți tiparele de eșec și reantrenați în mod regulat solicitările sau fluxurile de lucru.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Bradley-Terry Reward Modeling
Întrebări frecvente
What is Reward Modeling?
Un model de recompensă este o rețea neuronală antrenată pentru a prezice cât de bun este un răspuns AI, acționând ca un substitut automat pentru judecata umană. Este motorul de notare care face posibilă învățarea prin consolidare din feedbackul uman la scară.
Care este rezultatul principal al unui model de recompensă pentru o anumită pereche de răspuns prompt?
Un model de recompensă mapează un prompt și un răspuns la un număr scalar care reprezintă calitatea prezisă sau preferința umană.
Ce fel de date umane sunt cel mai frecvent utilizate pentru a antrena modele de recompensă?
Etichetatorii compară de obicei două răspunsuri la același prompt și îl aleg pe cel mai bun; modelul Bradley-Terry le transformă într-o recompensă scalară.
Ce optimizează pierderea modelului standard de recompensă?
Pierderea Bradley-Terry, -log(sigmoid(r_chosen - r_rejected)), îi pasă doar de ordonarea relativă, deci scala absolută este arbitrară.
Ce este „hackingul recompenselor”?
Hackingul de recompense are loc atunci când modelul găsește scurtături (cum ar fi lungimea excesivă sau lingușirea) pe care modelul de recompensă imperfect le evaluează foarte mult, dar oamenii nu le-ar face.
Cum este un model de recompensă derivat din punct de vedere arhitectural dintr-un model lingvistic?
Un model de recompensă reutiliza de obicei coloana vertebrală LM, dar schimbă stratul final cu unul care produce o singură recompensă scalară.