Gambaran keseluruhan
Refleksi ialah teknik di mana ejen AI membuat refleksi secara bertulis tentang kegagalannya sendiri dan menyalurkan kembali pelajaran tersebut ke percubaan seterusnya. Ia penting kerana ia membolehkan ejen menambah baik tugas tanpa melatih semula model asas.
Ejen Refleksi dan Pembetulan Sendiri memfokuskan pada penggunaan praktikal: mengubah keupayaan model menjadi aliran kerja harian yang boleh dipercayai yang memberikan nilai yang boleh diukur.
Menyelam dalam
Refleksi, yang diperkenalkan dalam makalah 2023 oleh Shinn dan rakan sekerja, memberikan ejen satu gelung: ia mencuba tugasan, menerima isyarat tentang cara tugas itu (hasil ujian, ganjaran atau kritikan), kemudian menulis 'refleksi' bahasa semula jadi yang singkat menerangkan perkara yang salah dan perkara yang perlu dicuba seterusnya. Pantulan itu disimpan dalam ingatan dan ditambah kepada gesaan percubaan seterusnya. Yang penting, berat model tidak pernah berubah; pembelajaran berlaku sepenuhnya dalam tetingkap konteks sebagai teks. 'Pembelajaran pengukuhan lisan' ini membolehkan ejen mengulangi masalah pengekodan, navigasi web dan tugas penaakulan. Pada penanda aras pengekodan HumanEval, pembetulan kendiri gaya Refleks mendorong kadar lulus yang jauh lebih tinggi daripada percubaan satu pukulan, hanya dengan membiarkan ejen menyahpepijat kesilapannya sendiri dalam beberapa percubaan.
Wawasan Teknikal
Refleksi memisahkan tiga peranan: Pelakon yang menjana tindakan, Penilai yang menjaringkan hasil (ujian unit, semakan padanan tepat atau hakim LLM), dan model Refleksi Kendiri yang menjadikan skor tersebut sebagai pelajaran teks. Pelajaran mendarat dalam penimbal memori episod yang digunakan semula pada percubaan seterusnya. Oleh kerana maklum balas adalah bahasa dan bukannya kecerunan, latihan GPU tidak diperlukan, tetapi ia sangat bergantung pada isyarat penilaian yang boleh dipercayai untuk mengelakkan pengukuhan pantulan yang yakin tetapi salah.
Menguasai Refleksi dan Agen Pembetulan Diri
Refleksi ialah teknik di mana ejen AI membuat refleksi secara bertulis tentang kegagalannya sendiri dan menyalurkan kembali pelajaran tersebut ke percubaan seterusnya. Ia penting kerana ia membolehkan ejen menambah baik tugas tanpa melatih semula model asas. Ejen Refleksi dan Pembetulan Sendiri memfokuskan pada penggunaan praktikal: mengubah keupayaan model menjadi aliran kerja harian yang boleh dipercayai yang memberikan nilai yang boleh diukur. Untuk membina pemahaman yang mendalam, layan Agen Refleksi dan Pembetulan Diri sebagai model operasi, bukan satu ciri: tentukan hasil yang diingini, jelaskan andaian dan pisahkan perkara yang boleh dilakukan oleh sistem dengan pasti daripada perkara yang masih memerlukan pertimbangan pakar.
Dalam praktiknya, pasukan kuat yang menggunakan Agen Refleksi dan Pembetulan Sendiri menumpukan pada hasil aliran kerja, bukan demo model dan menentukan pusat pemeriksaan manusia lebih awal. Mereka mendokumentasikan kriteria kejayaan yang jelas, menguji terhadap data dan aliran kerja yang realistik, dan mengulang berdasarkan corak kegagalan yang diperhatikan dan bukannya kemenangan penanda aras sekali. Di sinilah pemahaman teori bertukar menjadi keupayaan tahan lama merentas produk, dasar dan operasi.
Reka bentuk peringkat aplikasi menentukan sama ada AI meningkatkan hasil sebenar. Pada masa yang sama, Mengautomasikan proses yang rosak boleh menguatkan masalah sedia ada. Pendekatan yang paling berdaya tahan adalah untuk menggabungkan kelajuan percubaan dengan disiplin tadbir urus: menjalankan juruterbang, menangkap bukti, menerbitkan log keputusan dan sentiasa mengemas kini perlindungan apabila tingkah laku model, jangkaan pengguna dan keperluan kawal selia berkembang.
Kesan Strategik
Reka bentuk peringkat aplikasi menentukan sama ada AI meningkatkan hasil sebenar.
Reka bentuk peringkat aplikasi menentukan sama ada AI meningkatkan hasil sebenar. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Penyepaduan aliran kerja yang baik menghasilkan keuntungan produktiviti yang boleh dipercayai oleh pengguna.
Penyepaduan aliran kerja yang baik menghasilkan keuntungan produktiviti yang boleh dipercayai oleh pengguna. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Kes penggunaan yang berskop dengan baik mengurangkan keletihan perubahan dan risiko pelaksanaan.
Kes penggunaan yang berskop dengan baik mengurangkan keletihan perubahan dan risiko pelaksanaan. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Pelaksanaan Dunia Sebenar
Ejen pengekodan yang menjalankan ujian unit, membaca penegasan yang gagal, menulis nota pada pepijat dan mengedit kodnya sebelum menjalankan semula suite.
Pembantu penyelidik yang menangkap petikan halusinasi apabila semakan pengambilan gagal, kemudian menyemak jawapan untuk menggunakan sumber yang disahkan sahaja.
Ejen navigasi web (cth., pada tanda aras AlfWorld atau WebShop) yang merekodkan 'Saya mengklik penapis yang salah' dan mengelakkan kesilapan itu semasa mencuba semula.
Penyelesai masalah matematik yang menyemak jawapan terakhirnya terhadap kekangan, melihat ralat tanda dan mengolah semula langkah yang berkaitan.
Corak Pelaksanaan
Refleksi dan Agen Pembetulan Diri dalam amalan
Ejen pengekodan yang menjalankan ujian unit, membaca penegasan yang gagal, menulis nota pada pepijat dan mengedit kodnya sebelum menjalankan semula suite.
Ejen pengekodan yang menjalankan ujian unit, membaca penegasan yang gagal, menulis nota pada pepijat dan mengedit kodnya sebelum menjalankan semula suite Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Refleksi dan Agen Pembetulan Diri dalam amalan
Pembantu penyelidik yang menangkap petikan halusinasi apabila semakan pengambilan gagal, kemudian menyemak jawapan untuk menggunakan sumber yang disahkan sahaja.
Pembantu penyelidik yang menangkap petikan halusinasi apabila semakan pengambilan gagal, kemudian menyemak jawapan untuk menggunakan sumber yang disahkan sahaja. Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Refleksi dan Agen Pembetulan Diri dalam amalan
Ejen navigasi web (cth., pada tanda aras AlfWorld atau WebShop) yang merekodkan 'Saya mengklik penapis yang salah' dan mengelakkan kesilapan itu semasa mencuba semula.
Ejen navigasi web (cth., pada penanda aras AlfWorld atau WebShop) yang merekodkan 'Saya mengklik penapis yang salah' dan mengelakkan kesilapan itu semasa mencuba semula Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes kelebihan dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Refleksi dan Agen Pembetulan Diri dalam amalan
Penyelesai masalah matematik yang menyemak jawapan terakhirnya terhadap kekangan, melihat ralat tanda dan mengolah semula langkah yang berkaitan.
Penyelesai masalah matematik yang menyemak jawapan muktamadnya terhadap kekangan, melihat ralat tanda dan mengolah semula langkah yang berkaitan Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes kelebihan dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Risiko & Pengawal
Mengautomasikan proses yang rosak boleh menguatkan masalah sedia ada.
Pasukan mungkin terlalu mengautomasikan dan mengalih keluar pertimbangan manusia yang diperlukan.
Kualiti boleh hanyut jika output tidak dinilai secara berterusan.
Hala Tuju Pelaksanaan
Petakan aliran kerja semasa dan kenal pasti langkah geseran tertinggi.
Petakan aliran kerja semasa dan kenal pasti langkah geseran tertinggi. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Tentukan pusat pemeriksaan manusia sebelum automasi penuh.
Tentukan pusat pemeriksaan manusia sebelum automasi penuh. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Latih pengguna mengenai gesaan, laluan peningkatan dan standard kualiti.
Latih pengguna mengenai gesaan, laluan peningkatan dan standard kualiti. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Jejaki hasil peringkat tugasan untuk mengesahkan nilai yang berterusan.
Jejaki hasil peringkat tugasan untuk mengesahkan nilai yang berterusan. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.