Ikhtisar
Dorongan analogis dan Step-Back memandu model untuk bernalar pada tingkat yang lebih tinggi terlebih dahulu: dorongan analogis membuat model mengingat kembali masalah yang telah diselesaikan, sedangkan langkah mundur membuat model memperoleh prinsip dasar sebelum menangani hal-hal spesifik. Hal ini penting karena abstraksi sering kali lebih baik daripada menyelami langsung ke detail.
Analogical and Step-Back Prompting adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar.
Menyelam Lebih Dalam
Ini adalah dua teknik penelitian Google terkait dari tahun 2023 untuk meningkatkan penalaran. Dorongan analogis, oleh Yasunaga dan rekannya, meminta model untuk menghasilkan sendiri beberapa contoh yang relevan, masalah serupa yang telah dilihat secara efektif, dan solusinya sebelum menyelesaikan masalah target, sehingga menghilangkan kebutuhan akan contoh tulisan tangan. Step-Back prompt, yang dilakukan oleh Zheng dan rekan-rekannya, justru mengajukan pertanyaan abstraksi terlebih dahulu ("prinsip atau fakta umum apa yang mengatur hal ini?"), mengambil alasan tentang prinsip tersebut, lalu menerapkannya pada pertanyaan konkret. Keduanya menjauhkan model dari detail prematur. Step-Back menunjukkan peningkatan pada pertanyaan fisika dan kimia serta penalaran multi-hop, sementara analogis mendorong peningkatan matematika dan pembuatan kode dengan menyesuaikan contoh untuk setiap masalah spesifik.
Wawasan Teknis
Step-Back berhasil karena mendasarkan jawaban pada prinsip yang dinyatakan (misalnya, hukum atau definisi gas ideal) membatasi penalaran terperinci berikutnya dan mengurangi kesalahan pada langkah-langkah perantara. Dorongan analogis berhasil karena contoh-contoh yang dihasilkan sendiri disesuaikan dengan permasalahan yang ada, sering kali lebih relevan daripada contoh-contoh yang sudah diperbaiki, dan contoh-contoh tersebut menghasilkan pola solusi yang tepat. Keduanya menggeser komputasi ke arah mengambil abstraksi yang benar terlebih dahulu, kemudian melakukan pekerjaan mendetail yang mendasar.
Menguasai Anjuran Analogis dan Step-Back
Dorongan analogis dan Step-Back memandu model untuk bernalar pada tingkat yang lebih tinggi terlebih dahulu: dorongan analogis membuat model mengingat kembali masalah yang telah diselesaikan, sedangkan langkah mundur membuat model memperoleh prinsip dasar sebelum menangani hal-hal spesifik. Hal ini penting karena abstraksi sering kali lebih baik daripada menyelami langsung ke detail. Analogical and Step-Back Prompting adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar. Untuk membangun pemahaman yang mendalam, perlakukan Analogical dan Step-Back Prompting sebagai model operasi, bukan sebagai fitur tunggal: tentukan hasil yang diinginkan, klarifikasi asumsi, dan pisahkan apa yang dapat dilakukan sistem dengan andal dari apa yang masih memerlukan penilaian ahli.
Dalam praktiknya, tim yang kuat menggunakan desain prompt, pengambilan, dan peninjauan Analogical dan Step-Back Prompting sebagai satu sistem komunikasi terintegrasi. Mereka mendokumentasikan kriteria keberhasilan yang eksplisit, menguji berdasarkan data dan alur kerja yang realistis, dan melakukan iterasi berdasarkan pola kegagalan yang diamati, bukan berdasarkan kemenangan tolok ukur yang hanya terjadi satu kali. Di sinilah pemahaman teoritis berubah menjadi kemampuan yang tahan lama di seluruh produk, kebijakan, dan operasi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Pada saat yang sama, fakta-fakta halusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian. Pendekatan yang paling tangguh adalah menggabungkan kecepatan eksperimen dengan disiplin tata kelola: menjalankan uji coba, menangkap bukti, menerbitkan catatan keputusan, dan terus memperbarui upaya perlindungan seiring dengan berkembangnya perilaku model, harapan pengguna, dan persyaratan peraturan.
Dampak Strategis
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Ini memperluas akses lintas bahasa dan gaya komunikasi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Implementasi Dunia Nyata
Menjawab pertanyaan fisika dengan terlebih dahulu menyatakan hukum yang relevan (misalnya hukum kedua Newton) melalui langkah mundur, lalu memasukkan angka
Memecahkan masalah matematika baru dengan meminta model mengingat beberapa masalah serupa yang diselesaikan melalui dorongan analogis
Mengatasi pertanyaan trivia multi-hop dengan kembali ke kategori atau entitas yang lebih luas sebelum merangkai fakta
Menghasilkan kode dengan menghasilkan sendiri algoritma analog dan solusinya, kemudian menyesuaikannya dengan tugas saat ini
Pola Implementasi
Anjuran Analogis dan Mundur dalam praktiknya
Menjawab pertanyaan fisika dengan terlebih dahulu menyatakan hukum yang relevan (misalnya hukum kedua Newton) melalui langkah mundur, lalu memasukkan angka.
Menjawab pertanyaan fisika dengan terlebih dahulu menyatakan hukum yang relevan (misalnya, hukum kedua Newton) melalui langkah mundur, lalu memasukkan angka. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus ekstrem, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Analogis dan Mundur dalam praktiknya
Memecahkan masalah matematika baru dengan meminta model mengingat beberapa masalah serupa yang diselesaikan melalui dorongan analogis.
Menyelesaikan masalah matematika baru dengan membuat model mengingat beberapa masalah serupa yang diselesaikan melalui dorongan analogis Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Analogis dan Mundur dalam praktiknya
Mengatasi pertanyaan trivia multi-hop dengan kembali ke kategori atau entitas yang lebih luas sebelum merangkai fakta.
Mengatasi pertanyaan trivia multi-hop dengan melangkah kembali ke kategori atau entitas yang lebih luas sebelum merangkai fakta Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus yang sulit, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Anjuran Analogis dan Mundur dalam praktiknya
Menghasilkan kode dengan menghasilkan sendiri algoritma analog dan solusinya, kemudian menyesuaikannya dengan tugas saat ini.
Menghasilkan kode dengan menghasilkan sendiri algoritma analog dan solusinya, kemudian mengadaptasinya ke tugas saat ini. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Tentukan format output, nada, dan standar kualitas sebelum peluncuran. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.