Agenți de reflexie și auto-corecții
Reflexia este o tehnică în care un agent AI reflectă în scris asupra propriilor eșecuri și alimentează acele lecții în următoarea sa încercare.
Prezentare generală
It matters because it lets agents improve on a task without retraining the underlying model.
Scufundare în profunzime
Reflexia, introdusă într-o lucrare din 2023 de Shinn și colegii săi, oferă unui agent o buclă: încearcă o sarcină, primește un semnal despre cum a făcut-o (un rezultat al testului, o recompensă sau o critică), apoi scrie o scurtă „reflecție” în limbaj natural, explicând ce a mers prost și ce să încerce mai departe. Acea reflecție este stocată în memorie și anexată la solicitarea următoarei încercări. În mod crucial, greutățile modelului nu se schimbă niciodată; învățarea are loc în întregime în fereastra de context ca text. Această „învățare de întărire verbală” permite agenților să repete problemele de codificare, navigarea pe web și sarcinile de raționament. Pe criteriul de codificare HumanEval, autocorecția în stil Reflexion a împins ratele de trecere substanțial mai mari decât încercările cu o singură lovitură, pur și simplu lăsând agentul să-și depaneze propriile greșeli în câteva încercări.
Perspectivă tehnică
Reflexia separă trei roluri: un actor care generează acțiuni, un evaluator care punctează rezultatul (teste unitare, o verificare a potrivirii exacte sau un judecător LLM) și un model de auto-reflecție care transformă acel punctaj într-o lecție textuală. Lecția ajunge într-un tampon de memorie episodic reutilizat la următoarea încercare. Deoarece feedback-ul este mai degrabă limbaj decât gradienți, nu este nevoie de antrenament GPU, dar depinde în mare măsură de un semnal de evaluare fiabil pentru a evita întărirea reflecțiilor încrezătoare, dar greșite.
Impact strategic
Alegeri de construcție
Designul la nivel de aplicație determină dacă AI îmbunătățește rezultatele reale.
Echipa și fluxul de lucru
O bună integrare a fluxului de lucru creează câștiguri de productivitate în care utilizatorii pot avea încredere.
Risc și siguranță
Cazurile de utilizare bine definite reduc oboseala schimbării și riscul de implementare.
Viitorul reflecției și agenților de autocorecție
Autocorecția devine un strat implicit în cadrele de agenți, mai degrabă decât un truc de cercetare. Așteptați-vă la o integrare mai strânsă cu verificatoare automate, cum ar fi casetele de testare a codului, verificatoarele formale și recuperarea care confirmă faptele, astfel încât reflecțiile să fie bazate pe semnale obiective în loc de modelul în sine. Provocările deschise sunt evitarea buclelor în care un agent „repară” la nesfârșit rezultatul de lucru, decide când să oprească repetarea și împiedică ca reflexiile să se transforme în raționalizări plauzibile, dar neverificate.
Implementare în lumea reală
Un agent de codare care rulează teste unitare, citește afirmația eșuată, scrie o notă despre eroare și își editează codul înainte de a rula din nou suita.
Un asistent de cercetare care prinde o citare halucinată atunci când o verificare de regăsire eșuează, apoi revizuiește răspunsul pentru a utiliza numai surse verificate.
Un agent de navigare web (de exemplu, pe benchmark-urile AlfWorld sau WebShop) care înregistrează „Am dat clic pe filtrul greșit” și evită acest pas greșit la reîncercare.
Un rezolvator de probleme de matematică care își verifică răspunsul final cu o constrângere, observă o eroare de semn și reproșează pasul relevant.
Riscuri și balustrade
Automatizarea unui proces întrerupt poate amplifica problemele existente.
Echipele pot supraautomatiza și elimina raționamentul uman necesar.
Calitatea poate varia dacă rezultatele nu sunt evaluate continuu.
Foaia de parcurs de implementare
Hartă fluxul de lucru actual și identifică pasul cu cea mai mare frecare.
Definiți puncte de control umane înainte de automatizarea completă.
Instruiți utilizatorii cu privire la solicitări, căi de escaladare și standarde de calitate.
Urmăriți rezultatele la nivel de sarcină pentru a confirma valoarea susținută.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Auto-reflexie în bucle de agent
Întrebări frecvente
What is Reflexion and Self-Correcting Agents?
Reflexia este o tehnică în care un agent AI reflectă în scris asupra propriilor eșecuri și alimentează acele lecții în următoarea sa încercare. Contează pentru că permite agenților să îmbunătățească o sarcină fără a reinstrui modelul de bază.
Care este caracteristica definitorie a modului în care un agent de reflexie „învață”?
Reflexia este uneori numită „învățare prin întărire verbală”, deoarece lecțiile sunt stocate ca text în limbaj natural în memorie, nu sunt codificate în parametrii modelului.
În cadrul Reflexiei, ce face Evaluatorul?
Evaluatorul (un test unitar, verificare a potrivirii exacte sau judecător LLM) produce semnalul că pasul de auto-reflecție se transformă într-o lecție textuală.
De ce contează atât de mult calitatea semnalului de evaluare în Reflex?
Dacă evaluatorul nu este de încredere, agentul poate scrie reflecții încrezătoare bazate pe feedback prost, îndreptând încercările viitoare în direcția greșită.
Pe ce punct de referință autocorecția în stil Reflexion a îmbunătățit în mod semnificativ ratele de promovare a codării?
HumanEval este un etalon de generare a codului, iar permițând agentului să depaneze în mai multe încercări a crescut ratele de trecere mult peste performanța cu o singură lovitură.
Care este un risc deschis real cu agenții de autocorecție?
Fără o regulă bună de oprire, un agent poate continua să revizuiască răspunsurile corecte, să irosească calculul și uneori să degradeze rezultatele bune.