Środki refleksyjne i samokorygujące
Refleksja to technika, w ramach której agent sztucznej inteligencji sporządza pisemną refleksję na temat swoich niepowodzeń i wykorzystuje te wnioski przy następnej próbie.
Przegląd
It matters because it lets agents improve on a task without retraining the underlying model.
Głębokie nurkowanie
Refleksja, wprowadzona w artykule Shinna i współpracowników z 2023 r., daje agentowi pętlę: podejmuje się wykonania zadania, otrzymuje sygnał o tym, jak to zrobił (wynik testu, nagroda lub krytyka), a następnie pisze krótką „refleksję” w języku naturalnym, wyjaśniając, co poszło nie tak i co należy spróbować dalej. To odbicie jest przechowywane w pamięci i dołączane do monitu przy następnej próbie. Co najważniejsze, waga modelu nigdy się nie zmienia; nauka odbywa się całkowicie w oknie kontekstowym jako tekst. To „werbalne uczenie się przez wzmacnianie” umożliwia agentom powtarzanie problemów z kodowaniem, nawigacją w Internecie i zadaniami rozumowania. W teście porównawczym kodowania HumanEval autokorekta w stylu Reflexion znacznie zwiększyła współczynnik zdawalności w porównaniu z pojedynczymi próbami, po prostu pozwalając agentowi na debugowanie własnych błędów w kilku próbach.
Wgląd techniczny
Refleksja oddziela trzy role: aktora, który generuje działania, oceniającego, który ocenia wynik (testy jednostkowe, sprawdzenie dokładnego dopasowania lub sędzia LLM) oraz model autorefleksji, który zamienia ten wynik w lekcję tekstową. Lekcja ląduje w buforze pamięci epizodycznej, który zostanie ponownie wykorzystany podczas następnej próby. Ponieważ sprzężenie zwrotne to język, a nie gradienty, nie jest potrzebne żadne szkolenie GPU, ale w dużej mierze zależy to od wiarygodnego sygnału oceny, aby uniknąć wzmacniania pewnych, ale błędnych refleksji.
Wpływ strategiczny
Buduj wybory
Projektowanie na poziomie aplikacji określa, czy sztuczna inteligencja poprawia rzeczywiste wyniki.
Zespół i przepływ pracy
Dobra integracja przepływu pracy zapewnia wzrost produktywności, któremu użytkownicy mogą zaufać.
Ryzyko i bezpieczeństwo
Dobrze określone przypadki użycia zmniejszają zmęczenie zmianami i ryzyko wdrożenia.
Przyszłość środków refleksyjnych i samokorygujących
Samokorekta staje się domyślną warstwą w frameworkach agentów, a nie sztuczką badawczą. Oczekuj ściślejszej integracji z automatycznymi weryfikatorami, takimi jak piaskownice kodu, weryfikatory formalne i wyszukiwanie potwierdzające fakty, dzięki czemu refleksje opierają się na obiektywnych sygnałach, a nie na samym domyślaniu się modelu. Otwarte wyzwania polegają na unikaniu pętli, w których agent w nieskończoność „naprawia” wyniki robocze, decydując, kiedy zakończyć iterację, i zapobiegając dryfowaniu refleksji w wiarygodnie brzmiące, ale niezweryfikowane racjonalizacje.
Implementacja w świecie rzeczywistym
Agent kodujący, który uruchamia testy jednostkowe, odczytuje błędną asercję, zapisuje notatkę na temat błędu i edytuje swój kod przed ponownym uruchomieniem pakietu.
Asystent naukowy, który wyłapuje halucynacyjny cytat, gdy sprawdzenie jego wyszukiwania nie powiedzie się, a następnie koryguje odpowiedź, korzystając wyłącznie ze zweryfikowanych źródeł.
Agent nawigacji internetowej (np. w testach porównawczych AlfWorld lub WebShop), który rejestruje „Kliknąłem niewłaściwy filtr” i pozwala uniknąć tego błędnego kroku przy ponownej próbie.
Osoba rozwiązująca problem matematyczny, która sprawdza ostateczną odpowiedź pod kątem ograniczenia, zauważa błąd znaku i przerabia odpowiedni krok.
Zagrożenia i poręcze
Automatyzacja uszkodzonego procesu może spotęgować istniejące problemy.
Zespoły mogą nadmiernie zautomatyzować i wyeliminować niezbędny ludzki osąd.
Jakość może się wahać, jeśli wyniki nie są stale oceniane.
Plan wdrożenia
Zamapuj bieżący przepływ pracy i zidentyfikuj etap o największym tarciu.
Zdefiniuj ludzkie punkty kontrolne przed pełną automatyzacją.
Szkoluj użytkowników w zakresie podpowiedzi, ścieżek eskalacji i standardów jakości.
Śledź wyniki na poziomie zadań, aby potwierdzić trwałą wartość.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Autorefleksja w pętlach agentów
Często zadawane pytania
What is Reflexion and Self-Correcting Agents?
Refleksja to technika, w ramach której agent sztucznej inteligencji sporządza pisemną refleksję na temat swoich niepowodzeń i wykorzystuje te wnioski przy następnej próbie. Ma to znaczenie, ponieważ pozwala agentom ulepszyć zadanie bez konieczności ponownego uczenia podstawowego modelu.
Jaka jest charakterystyczna cecha tego, jak agent refleksyjny „uczy się”?
Refleksja jest czasami nazywana „werbalnym uczeniem się przez wzmacnianie”, ponieważ lekcje są przechowywane w pamięci jako tekst w języku naturalnym, a nie kodowane w parametrach modelu.
Co w ramach Refleksji robi Ewaluator?
Osoba oceniająca (test jednostkowy, sprawdzenie dokładnego dopasowania lub sędzia LLM) daje sygnał, że krok autorefleksji zamienia się w lekcję tekstową.
Dlaczego jakość sygnału ewaluacyjnego ma tak duże znaczenie w Reflexion?
Jeśli oceniający jest nierzetelny, agent może napisać pewne przemyślenia w oparciu o złe opinie, kierując przyszłe próby w złym kierunku.
W którym teście autokorekta w stylu Reflexion znacząco poprawiła współczynnik pomyślnego kodowania?
HumanEval to test porównawczy generowania kodu, a umożliwienie agentowi debugowania wielu prób podniosło współczynnik przejść znacznie powyżej wydajności pojedynczego strzału.
Które ryzyko jest rzeczywiście otwarte w przypadku środków samokorygujących?
Bez dobrej reguły zatrzymywania agent może ciągle poprawiać poprawne odpowiedzi, marnując moc obliczeniową, a czasami pogarszając dobrą wydajność.