Ikhtisar
Perintah Plan-and-Solve (PS) memberi tahu model bahasa untuk pertama-tama menyusun rencana eksplisit dan kemudian melaksanakannya langkah demi langkah, memperbaiki kegagalan yang ditinggalkan oleh perintah 'mari kita berpikir langkah demi langkah'. Ini adalah perubahan cepat sederhana yang secara signifikan meningkatkan penalaran multi-langkah tanpa pelatihan tambahan apa pun.
Perintah Rencanakan dan Selesaikan adalah elemen dasar teknis yang memengaruhi kualitas model, biaya infrastruktur, latensi, dan keandalan dalam skala besar.
Menyelam Lebih Dalam
Diperkenalkan dalam makalah ACL tahun 2023 oleh Lei Wang dan rekan-rekannya, dorongan Plan-and-Solve adalah respons terhadap kelemahan spesifik dalam rantai pemikiran zero-shot: model sering kali melewatkan langkah, salah menghitung, atau salah membaca pertanyaan. PS menggantikan instruksi tunggal 'Mari kita berpikir selangkah demi selangkah' dengan arahan dua bagian: 'Mari kita pahami masalahnya terlebih dahulu dan buatlah rencana untuk menyelesaikannya. Kalau begitu, mari kita laksanakan rencana itu dan selesaikan masalahnya selangkah demi selangkah.' Varian yang disempurnakan, PS+, menambahkan pengingat untuk mengekstrak variabel yang relevan, menghitung hasil antara, dan memperhatikan angka. Pada benchmark seperti GSM8K dan SVAMP, PS+ menutup sebagian besar kesenjangan dengan beberapa rangkaian pemikiran sementara tidak memerlukan contoh yang berfungsi dalam prompt.
Wawasan Teknis
Mekanismenya murni dalam bentuk prompt: dengan meminta rencana sebelum eksekusi, PS menggeser generasi autoregresif model sehingga menghasilkan sub-tujuan tingkat tinggi terlebih dahulu, yang kemudian mengkondisikan token penalaran terperinci yang mengikutinya. Pemisahan ini mengurangi 'langkah yang hilang' dan kesalahan penghitungan. PS+ selanjutnya mengarahkan perhatian dengan secara eksplisit memberi nama variabel dan besaran perantara, bertindak sebagai perancah yang dihasilkan sendiri daripada mengandalkan contoh yang ditulis tangan.
Menguasai Anjuran Merencanakan dan Memecahkan
Perintah Plan-and-Solve (PS) memberi tahu model bahasa untuk pertama-tama menyusun rencana eksplisit dan kemudian melaksanakannya langkah demi langkah, memperbaiki kegagalan yang ditinggalkan oleh perintah 'mari kita berpikir langkah demi langkah'. Ini adalah perubahan cepat sederhana yang secara signifikan meningkatkan penalaran multi-langkah tanpa pelatihan tambahan apa pun. Perintah Rencanakan dan Selesaikan adalah elemen dasar teknis yang memengaruhi kualitas model, biaya infrastruktur, latensi, dan keandalan dalam skala besar. Untuk membangun pemahaman yang mendalam, perlakukan Anjuran Rencanakan dan Selesaikan sebagai model operasi, bukan fitur tunggal: tentukan hasil yang diinginkan, klarifikasi asumsi, dan pisahkan apa yang dapat dilakukan sistem dengan andal dari apa yang masih memerlukan pertimbangan ahli.
Dalam praktiknya, tim yang kuat menggunakan Plan-and-Solve Prompting mengoptimalkan pilihan arsitektur, data, dan infrastruktur dibandingkan keandalan dan biaya. Mereka mendokumentasikan kriteria keberhasilan yang eksplisit, menguji berdasarkan data dan alur kerja yang realistis, dan melakukan iterasi berdasarkan pola kegagalan yang diamati, bukan berdasarkan kemenangan tolok ukur yang hanya terjadi satu kali. Di sinilah pemahaman teoritis berubah menjadi kemampuan yang tahan lama di seluruh produk, kebijakan, dan operasi.
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun. Pada saat yang sama, Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas. Pendekatan yang paling tangguh adalah menggabungkan kecepatan eksperimen dengan disiplin tata kelola: menjalankan uji coba, menangkap bukti, menerbitkan catatan keputusan, dan terus memperbarui upaya perlindungan seiring dengan berkembangnya perilaku model, harapan pengguna, dan persyaratan peraturan.
Dampak Strategis
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Implementasi Dunia Nyata
Menyelesaikan soal cerita matematika sekolah dasar multi-langkah (GSM8K) yang modelnya terlebih dahulu mencantumkan kuantitas, lalu menghitungnya secara berurutan.
Memandu asisten pengkodean untuk menguraikan fungsi dan kasus tepi sebelum menulis kode implementasi apa pun.
Menyusun agen dukungan pelanggan untuk terlebih dahulu mengidentifikasi tujuan mendasar pengguna, kemudian mengurutkan langkah-langkah penyelesaiannya.
Memecah permintaan analisis data yang kompleks menjadi fase 'rencanakan kueri' diikuti dengan fase 'jalankan dan gabungkan hasil'.
Pola Implementasi
Anjuran Rencanakan dan Selesaikan dalam praktiknya
Menyelesaikan soal cerita matematika sekolah dasar multi-langkah (GSM8K) yang modelnya terlebih dahulu mencantumkan kuantitas, lalu menghitungnya secara berurutan.
Menyelesaikan soal matematika sekolah dasar multi-langkah (GSM8K) yang modelnya pertama-tama mencantumkan kuantitas, lalu menghitungnya secara berurutan. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Rencanakan dan Selesaikan dalam praktiknya
Memandu asisten pengkodean untuk menguraikan fungsi dan kasus tepi sebelum menulis kode implementasi apa pun.
Memandu asisten pengkodean untuk menguraikan fungsi dan kasus edge sebelum menulis kode implementasi apa pun. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Rencanakan dan Selesaikan dalam praktiknya
Menyusun agen dukungan pelanggan untuk terlebih dahulu mengidentifikasi tujuan mendasar pengguna, kemudian mengurutkan langkah-langkah penyelesaiannya.
Menyusun agen dukungan pelanggan untuk terlebih dahulu mengidentifikasi tujuan mendasar pengguna, kemudian mengurutkan langkah-langkah resolusi. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Rencanakan dan Selesaikan dalam praktiknya
Memecah permintaan analisis data yang kompleks menjadi fase 'rencanakan kueri' diikuti dengan fase 'jalankan dan gabungkan hasil'.
Membagi permintaan analisis data yang kompleks menjadi fase 'rencanakan kueri' diikuti dengan fase 'jalankan dan gabungkan hasil' Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tentukan target latensi, kualitas, dan biaya sebelum penerapan. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Tolok ukur dalam kondisi beban dan data yang realistis. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.