Agen Refleksi dan Koreksi Diri
Refleksi adalah teknik di mana agen AI merefleksikan kegagalannya sendiri secara tertulis dan mengembalikan pembelajaran tersebut ke upaya berikutnya.
Ikhtisar
It matters because it lets agents improve on a task without retraining the underlying model.
Menyelam Lebih Dalam
Refleksi, yang diperkenalkan dalam makalah tahun 2023 oleh Shinn dan rekan-rekannya, memberikan gambaran kepada agen: ia mencoba suatu tugas, menerima sinyal tentang cara melakukannya (hasil tes, hadiah, atau kritik), lalu menulis 'refleksi' singkat dalam bahasa alami yang menjelaskan apa yang salah dan apa yang harus dicoba selanjutnya. Refleksi itu disimpan dalam memori dan ditambahkan ke prompt upaya berikutnya. Yang terpenting, bobot model tidak pernah berubah; pembelajaran terjadi sepenuhnya di jendela konteks sebagai teks. 'Pembelajaran penguatan verbal' ini memungkinkan agen mengulangi masalah pengkodean, navigasi web, dan tugas penalaran. Pada tolok ukur pengkodean HumanEval, koreksi mandiri gaya Reflexion mendorong tingkat kelulusan jauh lebih tinggi daripada upaya sekali tembak, hanya dengan membiarkan agen men-debug kesalahannya sendiri dalam beberapa percobaan.
Wawasan Teknis
Refleksi memisahkan tiga peran: Aktor yang menghasilkan tindakan, Evaluator yang menilai hasil (tes unit, pemeriksaan pencocokan tepat, atau juri LLM), dan model Refleksi Diri yang mengubah skor tersebut menjadi pelajaran tekstual. Pelajaran mendarat di buffer memori episodik yang digunakan kembali pada percobaan berikutnya. Karena masukan adalah bahasa, bukan gradien, pelatihan GPU tidak diperlukan, namun hal ini sangat bergantung pada sinyal evaluasi yang andal untuk menghindari penguatan refleksi yang meyakinkan namun salah.
Dampak Strategis
Build choices
Desain tingkat aplikasi menentukan apakah AI meningkatkan hasil nyata.
Team and workflow
Integrasi alur kerja yang baik menciptakan peningkatan produktivitas yang dapat dipercaya oleh pengguna.
Risk and safety
Kasus penggunaan yang tercakup dengan baik mengurangi kelelahan perubahan dan risiko implementasi.
Masa Depan Agen Refleksi dan Koreksi Diri
Koreksi diri menjadi lapisan default dalam kerangka agen dan bukan trik penelitian. Harapkan integrasi yang lebih erat dengan pemverifikasi otomatis, seperti kotak pasir kode, pemeriksa formal, dan pengambilan yang mengonfirmasi fakta, sehingga refleksi didasarkan pada sinyal objektif, bukan model yang menebak-nebak sendiri. Tantangan yang terbuka adalah menghindari loop di mana agen terus-menerus 'memperbaiki' hasil kerja, memutuskan kapan harus berhenti melakukan iterasi, dan mencegah refleksi agar tidak menyimpang ke rasionalisasi yang terdengar masuk akal namun belum terverifikasi.
Implementasi Dunia Nyata
Agen pengkodean yang menjalankan pengujian unit, membaca pernyataan yang gagal, menulis catatan tentang bug, dan mengedit kodenya sebelum menjalankan kembali rangkaian tersebut.
Seorang asisten peneliti yang menangkap kutipan halusinasi ketika pemeriksaan pengambilan gagal, kemudian merevisi jawabannya untuk hanya menggunakan sumber terverifikasi.
Agen navigasi web (misalnya, pada benchmark AlfWorld atau WebShop) yang mencatat 'Saya mengklik filter yang salah' dan menghindari kesalahan langkah saat mencoba lagi.
Pemecah masalah matematika yang memeriksa jawaban akhirnya terhadap batasan, memperhatikan kesalahan tanda, dan mengerjakan ulang langkah yang relevan.
Risiko & Pagar Pembatas
Mengotomatiskan proses yang rusak dapat memperburuk masalah yang ada.
Tim mungkin terlalu mengotomatiskan dan menghilangkan penilaian manusia yang diperlukan.
Kualitas dapat menurun jika keluaran tidak dievaluasi secara terus menerus.
Peta Jalan Implementasi
Petakan alur kerja saat ini dan identifikasi langkah dengan gesekan tertinggi.
Tentukan pos pemeriksaan manusia sebelum otomatisasi penuh.
Latih pengguna tentang petunjuk, jalur eskalasi, dan standar kualitas.
Lacak hasil tingkat tugas untuk memastikan nilai berkelanjutan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Refleksi Diri di Agent Loops
Pertanyaan yang sering diajukan
What is Reflexion and Self-Correcting Agents?
Refleksi adalah teknik di mana agen AI merefleksikan kegagalannya sendiri secara tertulis dan mengembalikan pembelajaran tersebut ke upaya berikutnya. Hal ini penting karena memungkinkan agen meningkatkan tugas tanpa melatih ulang model yang mendasarinya.
Apa ciri khas bagaimana agen Refleksi 'belajar'?
Refleksi terkadang disebut 'pembelajaran penguatan verbal' karena pelajaran disimpan sebagai teks bahasa alami di memori, tidak dikodekan ke dalam parameter model.
Dalam kerangka Refleksi, apa yang dilakukan Evaluator?
Evaluator (pengujian unit, pemeriksaan pencocokan tepat, atau juri LLM) menghasilkan sinyal bahwa langkah Refleksi Diri berubah menjadi pelajaran tekstual.
Mengapa kualitas sinyal evaluasi sangat penting dalam Reflexion?
Jika evaluator tidak dapat diandalkan, agen mungkin menulis refleksi percaya diri berdasarkan umpan balik yang buruk, sehingga mengarahkan upaya di masa depan ke arah yang salah.
Pada tolok ukur manakah koreksi diri gaya Refleksi secara signifikan meningkatkan tingkat kelulusan pengkodean?
HumanEval adalah tolok ukur pembuatan kode, dan membiarkan agen melakukan debug di beberapa percobaan akan meningkatkan tingkat kelulusan jauh di atas kinerja satu kali pengambilan.
Manakah yang benar-benar merupakan risiko terbuka pada agen yang dapat mengoreksi diri sendiri?
Tanpa aturan penghentian yang baik, agen mungkin terus merevisi jawaban yang benar, membuang-buang komputasi, dan terkadang menurunkan hasil yang baik.