Áttekintés
A reflexió egy olyan technika, amelyben az AI-ügynök írásban reflektál saját kudarcaira, és ezeket a leckéket visszaadja a következő kísérletéhez. Ez azért fontos, mert lehetővé teszi az ügynökök számára, hogy az alapul szolgáló modell átképzése nélkül javítsanak egy feladaton.
A Reflexion and Self-Corecting Agents a gyakorlati alkalmazásra összpontosít: a modellképességet megbízható napi munkafolyamatokká alakítja, amelyek mérhető értéket biztosítanak.
Mély merülés
A Shinn és munkatársai 2023-as tanulmányában bemutatott reflexió hurkot ad az ügynöknek: megkísérel egy feladatot, jelzést kap arról, hogyan sikerült (teszt eredménye, jutalom vagy kritika), majd rövid természetes nyelvű „reflexiót” ír, amelyben elmagyarázza, hogy mi hibázott, és mit próbáljon meg ezután. Ezt a tükröződést a rendszer a memóriában tárolja, és a következő próbálkozás parancsához fűzi. Lényeges, hogy a modell súlya soha nem változik; a tanulás teljes egészében a szövegkörnyezeti ablakban történik, mint szöveg. Ez a „verbális megerősítő tanulás” lehetővé teszi az ügynökök számára a kódolási problémák, a webes navigáció és az érvelési feladatok iterációját. A HumanEval kódolási benchmarkon a Reflexion-stílusú önkorrekció lényegesen magasabbra tette az áteresztési arányt, mint az egyszeri kísérleteknél, egyszerűen azáltal, hogy hagyta, hogy az ügynök néhány próbálkozáson keresztül kijavítsa a saját hibáit.
Technikai betekintés
A reflexió három szerepet választ el egymástól: egy színész, aki cselekvéseket generál, egy értékelő, aki pontozza az eredményt (egységtesztek, egy pontos egyezés ellenőrzése vagy egy LLM-bíró), és egy önreflexiós modell, amely ezt a pontszámot szöveges leckévé változtatja. A lecke egy epizodikus memóriapufferben landol, amelyet a következő próba során újra felhasználnak. Mivel a visszacsatolás inkább nyelv, mint színátmenet, nincs szükség GPU-képzésre, hanem nagymértékben függ egy megbízható kiértékelő jeltől, hogy elkerüljük a magabiztos, de téves tükröződéseket.
Reflexiós és önkorrekciós szerek elsajátítása
A reflexió egy olyan technika, amelyben az AI-ügynök írásban reflektál saját kudarcaira, és ezeket a leckéket visszaadja a következő kísérletéhez. Ez azért fontos, mert lehetővé teszi az ügynökök számára, hogy az alapul szolgáló modell átképzése nélkül javítsanak egy feladaton. A Reflexion and Self-Corecting Agents a gyakorlati alkalmazásra összpontosít: a modellképességet megbízható napi munkafolyamatokká alakítja, amelyek mérhető értéket biztosítanak. A mély megértés kialakítása érdekében a Reflexiós és Önjavító ágenseket működési modellként kell kezelni, nem pedig egyetlen jellemzőként: határozza meg a kívánt eredményeket, tisztázza a feltételezéseket, és válassza szét azt, amit a rendszer megbízhatóan képes elvégezni, attól, ami még szakértői megítélést igényel.
A gyakorlatban a Reflexion és Self-Corecting Agenteket használó erős csapatok a munkafolyamat eredményeire összpontosítanak, nem a demók modellezésére, és korán meghatározzák az emberi ellenőrzési pontokat. Dokumentálják az explicit sikerkritériumokat, tesztelik a valósághű adatokat és munkafolyamatokat, és a megfigyelt hibaminták alapján iterálnak, nem pedig egyszeri benchmark győzelmek alapján. Ez az a hely, ahol az elméleti megértés tartós képességgé válik a termék, a politika és a műveletek között.
Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket. Ugyanakkor egy megszakadt folyamat automatizálása felerősítheti a meglévő problémákat. A legrugalmasabb megközelítés a kísérleti sebesség és az irányítási fegyelem kombinálása: kísérleti kísérletek futtatása, bizonyítékok rögzítése, döntési naplók közzététele és a biztosítékok folyamatos frissítése a modell viselkedésének, a felhasználói elvárásoknak és a szabályozási követelményeknek megfelelően.
Stratégiai hatás
Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket.
Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A jó munkafolyamat-integráció olyan termelékenységnövekedést eredményez, amelyben a felhasználók megbízhatnak.
A jó munkafolyamat-integráció olyan termelékenységnövekedést eredményez, amelyben a felhasználók megbízhatnak. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
A jól körülhatárolt felhasználási esetek csökkentik a változtatások fáradtságát és a végrehajtás kockázatát.
A jól körülhatárolt felhasználási esetek csökkentik a változtatások fáradtságát és a végrehajtás kockázatát. A kiváló minőségű telepítéseknél ez mérhető működési szabályokká, tulajdonosi határokká és ismétlődő felülvizsgálati rituálékká alakul át, így a csapatok növelhetik a bizalmat a kétértelműség skálázása helyett.
Valós megvalósítás
Egy kódoló ügynök, amely egységteszteket futtat, beolvassa a hibás állítást, megjegyzést ír a hibára, és szerkeszti a kódját, mielőtt újra futtatná a programcsomagot.
Egy kutató asszisztens, aki hallucinált idézetet kap, amikor a visszakeresés sikertelen, majd felülvizsgálja a választ, hogy csak ellenőrzött forrásokat használjon.
Webes navigációs ügynök (például az AlfWorld vagy WebShop benchmarkokon), amely rögzíti a „rossz szűrőre kattintottam” üzenetet, és elkerüli ezt a félrelépést az újrapróbálkozáskor.
Egy matematikai feladatmegoldó, amely ellenőrzi a végső válaszát egy kényszerhez képest, észreveszi az előjelhibát, és átdolgozza a megfelelő lépést.
Megvalósítási minták
Reflexiós és önjavító szerek a gyakorlatban
Egy kódoló ügynök, amely egységteszteket futtat, beolvassa a hibás állítást, megjegyzést ír a hibára, és szerkeszti a kódját, mielőtt újra futtatná a programcsomagot.
Egy kódoló ügynök, amely egységteszteket futtat, beolvassa a hibás állítást, megjegyzést ír a hibára, és szerkeszti a kódját, mielőtt újra futtatná a programcsomagot. A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs útvonalat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Reflexiós és önjavító szerek a gyakorlatban
Egy kutató asszisztens, aki hallucinált idézetet kap, amikor a visszakeresés sikertelen, majd felülvizsgálja a választ, hogy csak ellenőrzött forrásokat használjon.
Kutatói asszisztens, aki hallucinált idézetet kap, amikor egy visszakeresési ellenőrzés sikertelen, majd felülvizsgálja a választ, hogy csak ellenőrzött forrásokat használjon. A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöbértékeket, emberi eszkalációs utat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket is.
Reflexiós és önjavító szerek a gyakorlatban
Webes navigációs ügynök (például az AlfWorld vagy WebShop benchmarkokon), amely rögzíti a „rossz szűrőre kattintottam” üzenetet, és elkerüli ezt a félrelépést az újrapróbálkozáskor.
Web-navigációs ügynök (például az AlfWorld vagy WebShop benchmarkokon), amely rögzíti a „rossz szűrőre kattintottam” üzenetet, és elkerüli az újrapróbálkozás során elkövetett félrelépést. A csapatok általában jobb eredményeket érnek el, ha előre meghatároznak minőségi küszöböket, emberi eszkalációs útvonalat tartanak a szélsőséges esetekhez, és nyomon követik a termelékenység növekedését és a hibaköltségeket.
Reflexiós és önjavító szerek a gyakorlatban
Egy matematikai feladatmegoldó, amely ellenőrzi a végső válaszát egy kényszerhez képest, észreveszi az előjelhibát, és átdolgozza a megfelelő lépést.
Matematikai problémamegoldó, amely ellenőrzi végső válaszát egy megszorítással, észreveszi az előjelhibát, és átdolgozza a megfelelő lépést. A csapatok általában jobb eredményeket érnek el, ha előre meghatározzák a minőségi küszöböket, emberi eszkalációs útvonalat tartanak a szélsőséges eseteknél, és nyomon követik a termelékenység növekedését és a hibaköltségeket az idő múlásával.
Kockázatok és védőkorlátok
Egy megszakadt folyamat automatizálása felerősítheti a meglévő problémákat.
A csapatok túlautomatizálhatják és eltávolíthatják a szükséges emberi ítélőképességet.
A minőség sodródhat, ha a kimeneteket nem értékelik folyamatosan.
Végrehajtási ütemterv
Térképezze fel az aktuális munkafolyamatot, és határozza meg a legnagyobb súrlódású lépést.
Térképezze fel az aktuális munkafolyamatot, és határozza meg a legnagyobb súrlódású lépést. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Emberi ellenőrzőpontok meghatározása a teljes automatizálás előtt.
Emberi ellenőrzőpontok meghatározása a teljes automatizálás előtt. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Tanítsa meg a felhasználókat az utasításokról, az eszkalációs utakról és a minőségi szabványokról.
Tanítsa meg a felhasználókat az utasításokról, az eszkalációs utakról és a minőségi szabványokról. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.
Kövesse nyomon a feladat szintű eredményeket a tartós érték megerősítéséhez.
Kövesse nyomon a feladat szintű eredményeket a tartós érték megerősítéséhez. Minden lépést bizonyítékkapuként kell kezelni: ha a feltételek nem teljesülnek, szüneteltesse a közzétételt, zárja be a rést, és csak ezután bővítse a felhasználást.