Reflexiós és önkorrekciós szerek
A reflexió egy olyan technika, amelyben az AI-ügynök írásban reflektál saját kudarcaira, és ezeket a leckéket visszaadja a következő kísérletéhez.
Áttekintés
It matters because it lets agents improve on a task without retraining the underlying model.
Mély merülés
A Shinn és munkatársai 2023-as tanulmányában bemutatott reflexió hurkot ad az ügynöknek: megkísérel egy feladatot, jelzést kap arról, hogyan sikerült (teszt eredménye, jutalom vagy kritika), majd rövid természetes nyelvű „reflexiót” ír, amelyben elmagyarázza, hogy mi hibázott, és mit próbáljon meg ezután. Ezt a tükröződést a rendszer a memóriában tárolja, és a következő próbálkozás parancsához fűzi. Lényeges, hogy a modell súlya soha nem változik; a tanulás teljes egészében a szövegkörnyezeti ablakban történik, mint szöveg. Ez a „verbális megerősítő tanulás” lehetővé teszi az ügynökök számára a kódolási problémák, a webes navigáció és az érvelési feladatok iterációját. A HumanEval kódolási benchmarkon a Reflexion-stílusú önkorrekció lényegesen magasabbra tette az áteresztési arányt, mint az egyszeri kísérleteknél, egyszerűen azáltal, hogy hagyta, hogy az ügynök néhány próbálkozáson keresztül kijavítsa a saját hibáit.
Technikai betekintés
A reflexió három szerepet választ el egymástól: egy színész, aki cselekvéseket generál, egy értékelő, aki pontozza az eredményt (egységtesztek, egy pontos egyezés ellenőrzése vagy egy LLM-bíró), és egy önreflexiós modell, amely ezt a pontszámot szöveges leckévé változtatja. A lecke egy epizodikus memóriapufferben landol, amelyet a következő próba során újra felhasználnak. Mivel a visszacsatolás inkább nyelv, mint színátmenet, nincs szükség GPU-képzésre, hanem nagymértékben függ egy megbízható kiértékelő jeltől, hogy elkerüljük a magabiztos, de téves tükröződéseket.
Stratégiai hatás
Építési lehetőségek
Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket.
Csapat és munkafolyamat
A jó munkafolyamat-integráció olyan termelékenységnövekedést eredményez, amelyben a felhasználók megbízhatnak.
Kockázat és biztonság
A jól körülhatárolt felhasználási esetek csökkentik a változtatások fáradtságát és a végrehajtás kockázatát.
A reflexiós és önkorrekciós ágensek jövője
Az önkorrekció az ügynöki keretrendszerek alapértelmezett rétegévé válik, nem pedig kutatási trükk. Szorosabb integrációra számíthat az automatizált ellenőrzőkkel, mint például a kód-sandboxokkal, a formális ellenőrzőkkel és a tényeket megerősítő visszakereséssel, így a tükröződések objektív jeleken alapulnak, ahelyett, hogy a modell önmagát másodszorra találná ki. A nyitott kihívások az olyan hurkok elkerülése, ahol az ügynök vég nélkül „javítja” a működő kimenetet, eldönti, mikor kell leállítani az iterációt, és megakadályozni, hogy a visszaverődések elfogadhatóan hangzó, de ellenőrizetlen racionalizálásokká sodródjanak.
Valós megvalósítás
Egy kódoló ügynök, amely egységteszteket futtat, beolvassa a hibás állítást, megjegyzést ír a hibára, és szerkeszti a kódját, mielőtt újra futtatná a programcsomagot.
Egy kutató asszisztens, aki hallucinált idézetet kap, amikor a visszakeresés sikertelen, majd felülvizsgálja a választ, hogy csak ellenőrzött forrásokat használjon.
Webes navigációs ügynök (például az AlfWorld vagy WebShop benchmarkokon), amely rögzíti a „rossz szűrőre kattintottam” üzenetet, és elkerüli ezt a félrelépést az újrapróbálkozáskor.
Egy matematikai feladatmegoldó, amely ellenőrzi a végső válaszát egy kényszerhez képest, észreveszi az előjelhibát, és átdolgozza a megfelelő lépést.
Kockázatok és védőkorlátok
Egy megszakadt folyamat automatizálása felerősítheti a meglévő problémákat.
A csapatok túlautomatizálhatják és eltávolíthatják a szükséges emberi ítélőképességet.
A minőség sodródhat, ha a kimeneteket nem értékelik folyamatosan.
Végrehajtási ütemterv
Térképezze fel az aktuális munkafolyamatot, és határozza meg a legnagyobb súrlódású lépést.
Emberi ellenőrzőpontok meghatározása a teljes automatizálás előtt.
Tanítsa meg a felhasználókat az utasításokról, az eszkalációs utakról és a minőségi szabványokról.
Kövesse nyomon a feladat szintű eredményeket a tartós érték megerősítéséhez.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Önreflexió az ügynökhurkokban
Gyakran ismételt kérdések
What is Reflexion and Self-Correcting Agents?
A reflexió egy olyan technika, amelyben az AI-ügynök írásban reflektál saját kudarcaira, és ezeket a leckéket visszaadja a következő kísérletéhez. Ez azért fontos, mert lehetővé teszi az ügynökök számára, hogy az alapul szolgáló modell átképzése nélkül javítsanak egy feladaton.
Mi a meghatározó jellemzője a reflexiós ágens „tanulásának”?
A reflexiót néha „verbális megerősítéses tanulásnak” is nevezik, mivel a leckék természetes nyelvű szövegként tárolódnak a memóriában, nem pedig a modell paramétereibe kódolva.
Mit csinál az értékelő a Reflexió keretrendszerben?
Az Értékelő (egységteszt, pontos egyezés ellenőrzése vagy LLM-bíró) azt a jelzést adja, hogy az Önreflexió lépés szöveges leckévé alakul.
Miért számít annyira a kiértékelő jel minősége a Reflexióban?
Ha az értékelő megbízhatatlan, az ügynök magabiztos gondolatokat írhat rossz visszajelzések alapján, rossz irányba terelve a jövőbeli próbálkozásokat.
Melyik benchmarkon javította jelentősen a Reflexion-stílusú önkorrekció a kódolási áteresztési arányt?
A HumanEval egy kódgenerációs benchmark, és az, hogy az ügynök több próbálkozáson keresztül hibakeresést végez, az áteresztési arány jóval az egyszeri teljesítmény fölé emelkedett.
Melyik valódi nyílt kockázat az önkorrekciós szerekkel?
Jó leállási szabály nélkül az ügynök folyamatosan felülvizsgálhatja a helyes válaszokat, elpazarolva a számítást, és néha leronthatja a jó eredményeket.