Рефлексія та самокоригуюча агенти
Рефлексія — це техніка, за якої агент штучного інтелекту письмово розмірковує про власні невдачі та повертає ці уроки до наступної спроби.
Огляд
It matters because it lets agents improve on a task without retraining the underlying model.
Глибоке занурення
Рефлексія, представлена в статті 2023 року Шінна та його колег, дає агенту цикл: він намагається виконати завдання, отримує сигнал про те, як воно вийшло (результат тесту, нагорода чи критика), а потім пише коротке «роздум» природною мовою, пояснюючи, що пішло не так і що спробувати далі. Це відображення зберігається в пам’яті та додається до підказки наступної спроби. Важливо те, що вага моделі ніколи не змінюється; навчання відбувається повністю в контекстному вікні як текст. Це «навчання вербального підкріплення» дозволяє агентам повторювати проблеми кодування, навігації в Інтернеті та завдань міркування. У тесті кодування HumanEval самовиправлення у стилі Reflexion підштовхнуло показники проходження значно вище, ніж одноразові спроби, просто дозволяючи агенту виправляти власні помилки за кілька спроб.
Технічне розуміння
Рефлексія розділяє три ролі: актор, який генерує дії, оцінювач, який оцінює результат (модульні тести, перевірка точної відповідності або суддя LLM), і модель саморефлексії, яка перетворює цю оцінку на текстовий урок. Урок потрапляє в епізодичний буфер пам’яті, який повторно використовується під час наступного випробування. Оскільки зворотний зв’язок — це мова, а не градієнти, навчання GPU не потрібне, але воно значною мірою залежить від надійного оцінювального сигналу, щоб уникнути посилення впевнених, але неправильних відображень.
Стратегічний вплив
Створіть вибір
Розробка на рівні програми визначає, чи покращує ШІ реальні результати.
Команда та робочий процес
Хороша інтеграція робочого процесу підвищує продуктивність, якій користувачі довіряють.
Ризики та безпека
Добре розроблені варіанти використання зменшують втому від змін і ризик впровадження.
Майбутнє рефлексії та самокорегуючих агентів
Самовиправлення стає стандартним рівнем у фреймворках агентів, а не дослідницьким трюком. Очікуйте тіснішої інтеграції з автоматизованими засобами верифікації, такими як пісочниці коду, формальні засоби перевірки та пошук, який підтверджує факти, тож відображення ґрунтуються на об’єктивних сигналах замість повторного вгадування моделі. Відкритими проблемами є уникнення циклів, коли агент нескінченно «виправляє» робочий результат, вирішує, коли припинити ітерацію, і запобігає переміщенню роздумів у правдоподібні, але неперевірені раціоналізації.
Реалізація в реальному світі
Агент кодування, який запускає модульні тести, читає помилкове твердження, пише примітку про помилку та редагує свій код перед повторним запуском набору.
Науковий співробітник, який вловлює галюцинацію цитати, коли пошукова перевірка не вдається, а потім переглядає відповідь, щоб використовувати лише перевірені джерела.
Агент веб-навігації (наприклад, у тестах AlfWorld або WebShop), який записує «Я клацнув не той фільтр» і уникає цієї помилки під час повторної спроби.
Розв’язувач математичних задач, який перевіряє остаточну відповідь на обмеження, помічає помилку знака та переробляє відповідний крок.
Ризики та огорожі
Автоматизація несправного процесу може посилити існуючі проблеми.
Команди можуть надмірно автоматизувати роботу й усунути необхідне людське судження.
Якість може погіршуватися, якщо результати не оцінюються постійно.
Дорожня карта впровадження
Намалюйте поточний робочий процес і визначте крок із найбільшим тертям.
Визначте контрольні точки людини перед повною автоматизацією.
Навчіть користувачів підказкам, шляхам ескалації та стандартам якості.
Відстежуйте результати на рівні завдання, щоб підтвердити постійну цінність.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Саморефлексія в петлях агента
Часті запитання
What is Reflexion and Self-Correcting Agents?
Рефлексія — це техніка, за якої агент штучного інтелекту письмово розмірковує про власні невдачі та повертає ці уроки до наступної спроби. Це важливо, тому що дозволяє агентам вдосконалювати завдання без перенавчання основної моделі.
Що є визначальною характеристикою того, як «навчається» агент Reflexion?
Рефлексію іноді називають «навчанням із словесним підкріпленням», оскільки уроки зберігаються в пам’яті як текст природною мовою, а не закодовані в параметрах моделі.
Що робить оцінювач у рамках Reflexion?
Оцінювач (одиничний тест, перевірка точної відповідності або суддя LLM) дає сигнал про те, що крок саморефлексії перетворюється на текстовий урок.
Чому якість оцінювального сигналу так важлива в Reflexion?
Якщо оцінювач ненадійний, агент може написати впевнені роздуми на основі поганого зворотного зв’язку, спрямовуючи майбутні спроби в неправильному напрямку.
На якому тесті самокорекція в стилі Reflexion значно покращила швидкість кодування?
HumanEval — це еталонний тест для генерації коду, і дозволивши агенту налагоджувати багаторазові спроби, кількість проходжень підвищилася набагато вище, ніж одноразова продуктивність.
Що є справжнім відкритим ризиком із самокоригуючими агентами?
Без правильного правила зупинки агент може продовжувати переглядати правильні відповіді, втрачаючи обчислення та іноді погіршуючи якісний результат.