Penalaran Pohon Pikiran
Tree-of-Thoughts memungkinkan model mengeksplorasi banyak jalur penalaran secara paralel, seperti cabang pohon, alih-alih hanya terpaku pada satu jalur pemikiran.
Ikhtisar
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Menyelam Lebih Dalam
Diperkenalkan oleh Yao dkk. pada tahun 2023, Tree-of-Thoughts (ToT) menggeneralisasi rangkaian pemikiran yang mendorong. Jika rantai pemikiran menghasilkan satu rangkaian langkah penalaran linier, ToT menyusun masalah sebagai sebuah pohon: setiap simpul merupakan solusi parsial (sebuah 'pemikiran'), dan model tersebut menghasilkan beberapa kandidat pemikiran berikutnya dari setiap simpul. Langkah evaluasi terpisah menilai seberapa menjanjikan setiap cabang, dan algoritma pencarian seperti pencarian yang mengutamakan luas atau yang lebih mendalam memutuskan cabang mana yang akan diperluas dan mana yang akan dipangkas. Hal ini memungkinkan model untuk mengeksplorasi dengan sengaja, melihat ke depan beberapa langkah, dan mundur ketika jalur terlihat tidak menjanjikan. ToT menonjol dalam tugas-tugas yang mengalahkan penalaran satu jalur yang serakah, yang paling terkenal adalah Game 24, di mana GPT-4 dengan rangkaian pemikiran memecahkan sekitar 4% teka-teki tetapi ToT mendorong keberhasilan menjadi sekitar 74%.
Wawasan Teknis
ToT memiliki tiga bagian: generator pemikiran yang mengusulkan calon langkah berikutnya, evaluator negara (seringkali LLM yang sama diminta untuk menilai atau memberikan suara pada solusi parsial sebagai 'pasti / mungkin / tidak mungkin'), dan prosedur pencarian (BFS, DFS, atau beam search) yang menavigasi pohon. Karena model ini mengevaluasi keadaan parsial dan memangkas cabang-cabang yang lemah, model ini mengalokasikan komputasi ke wilayah ruang solusi yang menjanjikan, sehingga memperdagangkan inferensi ekstra memerlukan akurasi yang jauh lebih tinggi pada permasalahan sulit.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Penalaran Pohon Pemikiran
Tree-of-Thoughts memengaruhi cara komputasi waktu inferensi digunakan: alih-alih hanya melakukan satu langkah maju yang besar, sistem semakin mencari jalur penalaran dan memilih yang terbaik. Penelitian di masa depan bertujuan untuk mempelajari kapan percabangan sepadan dengan biaya tokennya yang tinggi, untuk menggunakan fungsi nilai yang terlatih alih-alih evaluasi mandiri berbasis cepat, dan untuk memasukkan penelusuran pohon ke dalam model penalaran sehingga pertimbangannya lebih efisien. Harapkan integrasi yang lebih erat dengan alat dan pemverifikasi sehingga evaluasi cabang bertumpu pada umpan balik nyata daripada dugaan model.
Implementasi Dunia Nyata
Menyelesaikan Game 24 dengan mencabangkan dua angka mana yang akan digabungkan terlebih dahulu dan memangkas jalur aritmatika yang tidak dapat mencapai 24.
Menulis kreatif dengan rencana yang koheren, di mana model menyusun beberapa kerangka alur, mengevaluasinya, dan mengembangkannya sekuat tenaga sebelum menulis prosa.
Teka-teki kendala seperti teka-teki silang mini, di mana setiap kata yang diisi adalah sebuah pemikiran dan cabang-cabang yang tidak kompatibel ditinggalkan.
Masalah matematika atau perencanaan multi-langkah di mana model mengeksplorasi langkah-langkah perantara alternatif dan mundur dari langkah-langkah yang melanggar batasan.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pohon Pikiran
Pertanyaan yang sering diajukan
What is Tree-of-Thoughts Reasoning?
Tree-of-Thoughts memungkinkan model mengeksplorasi banyak jalur penalaran secara paralel, seperti cabang pohon, alih-alih hanya terpaku pada satu jalur pemikiran. Ia dapat melihat ke depan, mengevaluasi solusi parsial, dan mundur dari jalan buntu.
Apa perbedaan antara Tree-of-Thoughts dengan rangkaian pemikiran?
Rantai pemikiran menghasilkan satu rangkaian linier, sedangkan Pohon Pikiran bercabang menjadi banyak jalur kandidat yang dapat dievaluasi dan dipangkas.
Dalam Tree-of-Thoughts, apa yang biasanya diwakili oleh satu node?
Setiap node adalah solusi parsial (sebuah pemikiran), dan model tersebut memperluas beberapa kandidat pemikiran berikutnya dari setiap node.
Peran apa yang dimainkan oleh evaluator negara bagian dalam Tree-of-Thoughts?
Evaluator, seringkali merupakan LLM yang sama, menilai atau memberikan suara pada sebagian negara bagian (misalnya, pasti/mungkin/tidak mungkin) sehingga pencarian dapat fokus pada cabang yang menjanjikan.
Pada benchmark Game of 24, ToT secara dramatis mengungguli rantai pemikiran secara kasar dalam lompatan apa?
GPT-4 dengan rantai pemikiran memecahkan sekitar 4% teka-teki Game of 24, sementara Tree-of-Thoughts mencapai sekitar 74%.
Strategi pencarian manakah yang biasa digunakan untuk menavigasi pohon pemikiran?
ToT memasangkan pemikiran dan evaluasi dengan prosedur pencarian klasik seperti BFS, DFS, atau beam search untuk memutuskan cabang mana yang akan diperluas.