Reflexní a samoopravné prostředky
Reflexe je technika, kdy agent umělé inteligence písemně reflektuje svá vlastní selhání a vkládá tyto lekce zpět do svého dalšího pokusu.
Přehled
It matters because it lets agents improve on a task without retraining the underlying model.
Hluboký ponor
Reflexe, kterou v roce 2023 představili Shinn a kolegové, dává agentovi smyčku: pokusí se o úkol, obdrží signál o tom, jak to udělal (výsledek testu, odměnu nebo kritiku), pak napíše krátkou „reflexi“ v přirozeném jazyce vysvětlující, co se pokazilo a co zkusit dál. Tento odraz je uložen v paměti a připojen k výzvě dalšího pokusu. Podstatné je, že váhy modelu se nikdy nemění; učení probíhá výhradně v kontextovém okně jako text. Toto „verbální posilování učení“ umožňuje agentům opakovat problémy s kódováním, navigaci na webu a logické úlohy. V benchmarku kódování HumanEval posunula autokorekce ve stylu Reflexion úspěšnost podstatně výše než jednorázové pokusy jednoduše tím, že nechala agenta ladit své vlastní chyby během několika pokusů.
Technický přehled
Reflexe odděluje tři role: herce, který generuje akce, hodnotitele, který hodnotí výsledek (testy jednotek, kontrola přesné shody nebo soudce LLM) a model sebereflexe, který toto skóre proměňuje v textovou lekci. Lekce skončí ve vyrovnávací paměti epizodické paměti znovu použité při dalším pokusu. Vzhledem k tomu, že zpětná vazba je spíše jazyk než přechody, není potřeba žádné školení GPU, ale závisí to do značné míry na spolehlivém vyhodnocovacím signálu, aby nedošlo k posílení sebejistých, ale nesprávných odrazů.
Strategický dopad
Volby sestavy
Návrh na úrovni aplikace určuje, zda AI zlepšuje skutečné výsledky.
Tým a pracovní postup
Dobrá integrace pracovních postupů přináší zvýšení produktivity, kterému uživatelé mohou důvěřovat.
Riziko a bezpečnost
Dobře vymezené případy použití snižují únavu ze změn a riziko implementace.
Budoucnost reflexe a sebeopravných prostředků
Autokorekce se stává spíše výchozí vrstvou v rámci agentů než výzkumným trikem. Očekávejte těsnější integraci s automatickými ověřovacími nástroji, jako jsou karantény kódu, formální kontroly a vyhledávání, které potvrzuje fakta, takže odrazy jsou založeny na objektivních signálech namísto toho, aby model sám o sobě hádal. Otevřenými výzvami je vyhýbat se smyčkám, kde agent donekonečna „opravuje“ pracovní výstup, rozhoduje, kdy přestat iterovat, a zabraňovat tomu, aby odrazy přešly do věrohodně znějících, ale neověřených racionalizací.
Real-World Implementace
Kódovací agent, který spouští testy jednotek, čte chybné tvrzení, zapisuje poznámku o chybě a upravuje svůj kód před opětovným spuštěním sady.
Výzkumný asistent, který zachytí halucinační citaci, když kontrola vyhledávání selže, a poté upraví odpověď tak, aby používala pouze ověřené zdroje.
Agent pro webovou navigaci (např. na srovnávacích testech AlfWorld nebo WebShop), který zaznamenává „Klikl jsem na špatný filtr“ a vyhýbá se tomuto chybnému kroku při opakování.
Řešitel matematických úloh, který zkontroluje svou konečnou odpověď proti omezení, všimne si chyby znaménka a přepracuje příslušný krok.
Rizika a zábradlí
Automatizace nefunkčního procesu může zesílit stávající problémy.
Týmy se mohou přeautomatizovat a odstranit potřebný lidský úsudek.
Kvalita se může posunout, pokud výstupy nejsou průběžně vyhodnocovány.
Plán implementace
Zmapujte aktuální pracovní postup a identifikujte krok s nejvyšším třením.
Definujte lidské kontrolní body před plnou automatizací.
Školte uživatele o výzvách, eskalačních cestách a standardech kvality.
Sledujte výsledky na úrovni úkolů, abyste potvrdili trvalou hodnotu.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Sebereflexe v Agent Loops
Často kladené otázky
What is Reflexion and Self-Correcting Agents?
Reflexe je technika, kdy agent umělé inteligence písemně reflektuje svá vlastní selhání a vkládá tyto lekce zpět do svého dalšího pokusu. Je to důležité, protože to agentům umožňuje zlepšit úkol, aniž by museli přeškolovat základní model.
Jaká je definující charakteristika toho, jak se agent Reflexe „učí“?
Reflexe se někdy říká „verbální posilování učení“, protože lekce jsou uloženy jako text v přirozeném jazyce v paměti, nejsou zakódovány do parametrů modelu.
Co dělá hodnotitel v rámci Reflexe?
Hodnotitel (test jednotky, kontrola přesné shody nebo soudce LLM) vydá signál, že se krok Sebereflexe změní v textovou lekci.
Proč v Reflexi tolik záleží na kvalitě vyhodnocovacího signálu?
Pokud je hodnotitel nespolehlivý, může agent psát sebevědomé úvahy založené na špatné zpětné vazbě a nasměrovat budoucí pokusy špatným směrem.
Na jakém benchmarku autokorekce ve stylu Reflexe výrazně zlepšila míru průchodnosti kódováním?
HumanEval je benchmark pro generování kódu a umožnění ladění agenta přes více pokusů zvýšilo rychlost průchodu vysoko nad jednorázový výkon.
Jaké je skutečné otevřené riziko u samoopravných prostředků?
Bez dobrého pravidla zastavení může agent neustále revidovat správné odpovědi, plýtvat výpočtem a někdy degradovat dobrý výstup.