Огляд
Рефлексія — це техніка, за якої агент штучного інтелекту письмово розмірковує про власні невдачі та повертає ці уроки до наступної спроби. Це важливо, тому що дозволяє агентам вдосконалювати завдання без перенавчання основної моделі.
Reflexion and Self-Correcting Agents зосереджені на практичному розгортанні: перетворенні можливостей моделі в надійні щоденні робочі процеси, які забезпечують вимірну цінність.
Глибоке занурення
Рефлексія, представлена в статті 2023 року Шінна та його колег, дає агенту цикл: він намагається виконати завдання, отримує сигнал про те, як воно вийшло (результат тесту, нагорода чи критика), а потім пише коротке «роздум» природною мовою, пояснюючи, що пішло не так і що спробувати далі. Це відображення зберігається в пам’яті та додається до підказки наступної спроби. Важливо те, що вага моделі ніколи не змінюється; навчання відбувається повністю в контекстному вікні як текст. Це «навчання вербального підкріплення» дозволяє агентам повторювати проблеми кодування, навігації в Інтернеті та завдань міркування. У тесті кодування HumanEval самовиправлення у стилі Reflexion підштовхнуло показники проходження значно вище, ніж одноразові спроби, просто дозволяючи агенту виправляти власні помилки за кілька спроб.
Технічне розуміння
Рефлексія розділяє три ролі: актор, який генерує дії, оцінювач, який оцінює результат (модульні тести, перевірка точної відповідності або суддя LLM), і модель саморефлексії, яка перетворює цю оцінку на текстовий урок. Урок потрапляє в епізодичний буфер пам’яті, який повторно використовується під час наступного випробування. Оскільки зворотний зв’язок — це мова, а не градієнти, навчання GPU не потрібне, але воно значною мірою залежить від надійного оцінювального сигналу, щоб уникнути посилення впевнених, але неправильних відображень.
Освоєння агентів рефлексії та самокоригування
Рефлексія — це техніка, за якої агент штучного інтелекту письмово розмірковує про власні невдачі та повертає ці уроки до наступної спроби. Це важливо, тому що дозволяє агентам вдосконалювати завдання без перенавчання основної моделі. Reflexion and Self-Correcting Agents зосереджені на практичному розгортанні: перетворенні можливостей моделі в надійні щоденні робочі процеси, які забезпечують вимірну цінність. Щоб побудувати глибоке розуміння, розглядайте агенти Reflexion і Self-Correcting Agents як операційну модель, а не як окрему функцію: визначте бажані результати, уточніть припущення та відокремте те, що система може зробити надійно, від того, що все ще вимагає експертної оцінки.
На практиці сильні команди, які використовують агенти Reflexion і Self-Correcting Agents, зосереджуються на результатах робочого процесу, а не на моделюванні демонстрацій, і визначають контрольні точки людини на ранній стадії. Вони документують чіткі критерії успіху, перевіряють реалістичні дані та робочі процеси та виконують ітерацію на основі спостережуваних моделей невдач, а не одноразових перемог у тестах. Саме тут теоретичне розуміння перетворюється на довготривалу здатність щодо продуктів, політики та операцій.
Розробка на рівні програми визначає, чи покращує ШІ реальні результати. У той же час автоматизація несправного процесу може посилити існуючі проблеми. Найбільш стійкий підхід полягає в поєднанні швидкості експериментів із дисципліною управління: запускайте пілотні проекти, збирайте докази, публікуйте журнали рішень і постійно оновлюйте запобіжні заходи в міру розвитку поведінки моделі, очікувань користувачів і нормативних вимог.
Стратегічний вплив
Розробка на рівні програми визначає, чи покращує ШІ реальні результати.
Розробка на рівні програми визначає, чи покращує ШІ реальні результати. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Хороша інтеграція робочого процесу підвищує продуктивність, якій користувачі довіряють.
Хороша інтеграція робочого процесу підвищує продуктивність, якій користувачі довіряють. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Добре розроблені варіанти використання зменшують втому від змін і ризик впровадження.
Добре розроблені варіанти використання зменшують втому від змін і ризик впровадження. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Впровадження в реальному світі
Агент кодування, який запускає модульні тести, читає помилкове твердження, пише примітку про помилку та редагує свій код перед повторним запуском набору.
Науковий співробітник, який вловлює галюцинацію цитати, коли пошукова перевірка не вдається, а потім переглядає відповідь, щоб використовувати лише перевірені джерела.
Агент веб-навігації (наприклад, у тестах AlfWorld або WebShop), який записує «Я клацнув не той фільтр» і уникає цієї помилки під час повторної спроби.
Розв’язувач математичних задач, який перевіряє остаточну відповідь на обмеження, помічає помилку знака та переробляє відповідний крок.
Шаблони реалізації
Рефлексія та самокорегуючі агенти на практиці
Агент кодування, який запускає модульні тести, читає помилкове твердження, пише примітку про помилку та редагує свій код перед повторним запуском набору.
Агент кодування, який запускає модульні тести, читає помилкове твердження, пише примітку про помилку та редагує свій код перед повторним запуском пакету. Команди зазвичай отримують кращі результати, коли вони визначають порогові значення якості наперед, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Рефлексія та самокорегуючі агенти на практиці
Науковий співробітник, який вловлює галюцинацію цитати, коли пошукова перевірка не вдається, а потім переглядає відповідь, щоб використовувати лише перевірені джерела.
Асистент-дослідник, який вловлює галюцинацію цитати, коли пошукова перевірка не вдається, а потім переглядає відповідь, щоб використовувати лише перевірені джерела. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях людської ескалації для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Рефлексія та самокорегуючі агенти на практиці
Агент веб-навігації (наприклад, у тестах AlfWorld або WebShop), який записує «Я клацнув не той фільтр» і уникає цієї помилки під час повторної спроби.
Агент веб-навігації (наприклад, у контрольних тестах AlfWorld або WebShop), який записує «Я клацнув не той фільтр» і уникає цієї помилки під час повторної спроби. Команди зазвичай отримують кращі результати, коли визначають порогові значення якості наперед, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Рефлексія та самокорегуючі агенти на практиці
Розв’язувач математичних задач, який перевіряє остаточну відповідь на обмеження, помічає помилку знака та переробляє відповідний крок.
Розв’язувач математичних задач, який перевіряє свою остаточну відповідь на обмеження, помічає помилку знака та переробляє відповідний крок. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях ескалації людини для граничних випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Ризики та огорожі
Автоматизація несправного процесу може посилити існуючі проблеми.
Команди можуть надмірно автоматизувати роботу й усунути необхідне людське судження.
Якість може погіршуватися, якщо результати не оцінюються постійно.
Дорожня карта впровадження
Намалюйте поточний робочий процес і визначте крок із найбільшим тертям.
Намалюйте поточний робочий процес і визначте крок із найбільшим тертям. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Визначте контрольні точки людини перед повною автоматизацією.
Визначте контрольні точки людини перед повною автоматизацією. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Навчіть користувачів підказкам, шляхам ескалації та стандартам якості.
Навчіть користувачів підказкам, шляхам ескалації та стандартам якості. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Відстежуйте результати на рівні завдання, щоб підтвердити постійну цінність.
Відстежуйте результати на рівні завдання, щоб підтвердити постійну цінність. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.