Penaakulan Pokok-Pemikiran
Tree-of-Thoughts membolehkan model meneroka banyak laluan penaakulan secara selari, seperti dahan pokok, dan bukannya komited kepada satu garis pemikiran.
Gambaran keseluruhan
Ia boleh melihat ke hadapan, menilai penyelesaian separa dan mundur dari jalan buntu.
Menyelam dalam
Diperkenalkan oleh Yao et al. pada tahun 2023, Tree-of-Thoughts (ToT) menyamaratakan gesaan rantaian pemikiran. Apabila rantaian pemikiran menghasilkan satu urutan linear langkah penaakulan, ToT menstrukturkan masalah sebagai pokok: setiap nod ialah penyelesaian separa ('pemikiran'), dan model menjana beberapa calon pemikiran seterusnya daripada setiap nod. Langkah penilaian yang berasingan menjaringkan betapa menjanjikan setiap cawangan, dan algoritma carian seperti carian luas-dahulu atau mendalam-dahulukan menentukan cawangan mana yang perlu dikembangkan dan mana yang perlu dipangkas. Ini membolehkan model meneroka secara sengaja, melihat ke hadapan beberapa langkah dan mengundur apabila laluan kelihatan tidak menjanjikan. ToT bersinar pada tugas yang mengalahkan penaakulan satu laluan tamak, yang paling terkenal Permainan 24, di mana GPT-4 dengan rantaian pemikiran menyelesaikan kira-kira 4% teka-teki tetapi ToT mendorong kejayaan kepada kira-kira 74%.
Wawasan Teknikal
ToT mempunyai tiga bahagian: penjana pemikiran yang mencadangkan langkah seterusnya calon, penilai keadaan (selalunya LLM yang sama digesa untuk menilai atau mengundi penyelesaian separa sebagai 'pasti / mungkin / mustahil'), dan prosedur carian (BFS, DFS, atau carian rasuk) yang menavigasi pepohon. Oleh kerana model menilai keadaan separa dan mencantas dahan yang lemah, ia memperuntukkan pengiraan ke arah kawasan yang menjanjikan ruang penyelesaian, memperdagangkan inferens tambahan memerlukan ketepatan yang jauh lebih tinggi pada masalah yang sukar.
Kesan Strategik
Kos dan bajet
Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
Keputusan yang lebih jelas
Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
Kawalan kualiti
Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Masa Depan Penaakulan Pokok-Pemikiran
Tree-of-Thoughts mempengaruhi cara pengiraan masa inferens dibelanjakan: dan bukannya satu hantaran ke hadapan yang besar, sistem semakin mencari laluan penaakulan dan memilih yang terbaik. Kerja masa hadapan bertujuan untuk mempelajari apabila percabangan berbaloi dengan kos token yang tinggi, menggunakan fungsi nilai terlatih dan bukannya penilaian kendiri berasaskan segera, dan melipat carian pokok ke dalam model penaakulan supaya perbincangan lebih cekap. Jangkakan penyepaduan yang lebih ketat dengan alatan dan pengesah supaya penilaian cawangan bergantung pada maklum balas sebenar dan bukannya tekaan model.
Pelaksanaan Dunia Sebenar
Menyelesaikan Permainan 24 dengan bercabang pada mana dua nombor untuk digabungkan pertama dan mencantas laluan aritmetik yang tidak boleh mencapai 24.
Penulisan kreatif dengan rancangan yang koheren, di mana model mendraf beberapa garis besar plot, menilai mereka dan mengembangkan yang paling kuat sebelum menulis prosa.
Teka-teki kekangan seperti silang kata mini, di mana setiap perkataan yang diisi adalah pemikiran dan cabang yang tidak serasi ditinggalkan.
Matematik berbilang langkah atau masalah perancangan di mana model meneroka langkah perantaraan alternatif dan berundur daripada langkah-langkah yang melanggar kekangan.
Risiko & Pengawal
Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Hala Tuju Pelaksanaan
Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
Penanda aras di bawah beban realistik dan keadaan data.
Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Pokok Fikiran
Soalan lazim
Apa itu Tree-of-Thoughts Reasoning?
Tree-of-Thoughts membolehkan model meneroka banyak laluan penaakulan secara selari, seperti dahan pokok, dan bukannya komited kepada satu garis pemikiran. Ia boleh melihat ke hadapan, menilai penyelesaian separa dan mundur dari jalan buntu.
Bagaimanakah Tree-of-Thoughts berbeza daripada rantaian-fikiran gesaan?
Rantaian pemikiran menghasilkan jujukan linear tunggal, manakala Tree-of-Thoughts bercabang kepada banyak laluan calon yang boleh dinilai dan dipangkas.
Dalam Tree-of-Thoughts, apakah yang biasanya diwakili oleh satu nod?
Setiap nod ialah penyelesaian separa (pemikiran), dan model mengembangkan beberapa calon pemikiran seterusnya daripada setiap nod.
Apakah peranan yang dimainkan oleh penilai negeri dalam Tree-of-Thoughts?
Penilai, selalunya LLM yang sama, menilai atau mengundi pada keadaan separa (cth., pasti/mungkin/mustahil) supaya carian boleh menumpukan pada cawangan yang menjanjikan.
Pada penanda aras Permainan 24, ToT secara dramatik mengatasi rantaian pemikiran secara kasar dengan lompatan apa?
GPT-4 dengan rantaian pemikiran menyelesaikan sekitar 4% daripada teka-teki Permainan 24, manakala Tree-of-Thoughts mencapai kira-kira 74%.
Strategi carian manakah yang biasa digunakan untuk menavigasi pokok pemikiran?
ToT menggandingkan penjanaan pemikiran dan penilaian dengan prosedur carian klasik seperti BFS, DFS atau carian pancaran untuk memutuskan cawangan mana yang perlu dikembangkan.