SeterusnyaPanduan seterusnya
Pengurusan Ketergantungan Python untuk ML
Teknikal
PANDUAN Teknikal
Pengurusan sejarah perbualan ialah set teknik yang mengekalkan sesi sembang atau ejen yang panjang di bawah had konteks model.
Dengar panduan iniAI-diceritakan · ~3 min
Yang utama adalah menjatuhkan selekoh lama, meringkaskan bahagian awal, memampatkan keseluruhan sejarah menjadi ringkas yang padat dan membersihkan output alat lama. Ia penting kerana model bahasa tidak mempunyai memori antara panggilan melebihi apa yang dihantar semula oleh aplikasi. Sebaik sahaja sejarah melampaui tingkap, sesuatu mesti dipotong, dan perkara yang dipotong menentukan sama ada pembantu kekal koheren.
Kebanyakan API sembang tidak mempunyai kewarganegaraan. Setiap permintaan menghantar semula perbualan setakat ini, dan model membacanya dari awal. Oleh itu, token, kos dan kependaman meningkat apabila sesi menjadi lebih panjang, sehingga sejarah mencapai had konteks dan permintaan gagal atau dipotong. Kualiti boleh menurun walaupun sebelum titik itu, kerana butiran yang berkaitan terkubur di antara bahan lama. Strategi paling mudah ialah pemangkasan, biasanya sebagai tetingkap gelongsor: pastikan sistem segera dan pusingan terkini, dan lepaskan selebihnya. Ia murah dan boleh diramal, tetapi ia melupakan fakta awal, seperti kekangan yang dinyatakan oleh pengguna pada mulanya. Penambahbaikan biasa adalah untuk menyematkan mesej penting supaya ia tidak pernah digugurkan. Ringkasan bergulir menggantikan giliran lama dengan ringkasan bertulis model yang dikemas kini apabila perbualan berkembang. Ia menyimpan intipati dalam token yang jauh lebih sedikit. Kosnya ialah ringkasan kehilangan perincian dan boleh menimbulkan ralat, dan ralat tersebut dikompaun apabila ringkasan diringkaskan semula. Pemadatan ialah versi yang lebih sengaja digunakan dalam alat ejen. Apabila penggunaan token melepasi ambang, sistem meminta model menulis serahan berstruktur meliputi matlamat, kemajuan, keputusan, masalah terbuka dan nama fail utama. Ia kemudiannya memulakan konteks baharu dengan penyerahan itu serta giliran terbaharu. Claude Code, sebagai contoh, mempunyai perintah padat dan juga boleh padat secara automatik berhampiran had. Pembersihan hasil alat menyasarkan sumber pengagihan terbesar dalam sesi ejen: output besar daripada carian, bacaan fail dan arahan yang berguna sekali. Menukarnya untuk pemegang tempat pendek membebaskan ruang dan masih merekodkan bahawa panggilan itu berlaku. Memori luaran menyimpan fakta dalam fail atau pangkalan data dan mendapatkannya semula apabila berkaitan, supaya ia dapat bertahan dalam sebarang pemangkasan. Kesalahpahaman yang biasa ialah model mengingati bahagian awal sembang dengan sendirinya. Sebarang kesinambungan datang daripada apa yang aplikasi pilih untuk menghantar semula atau mendapatkan semula.
Chatbot menyimpan gesaan sistem serta 20 mesej terakhir dan menjatuhkan apa-apa yang lebih lama. Ini murah, tetapi ia lupa nama dan belanjawan yang diberikan pengguna dalam mesej pertama.
Setiap 10 pusingan, model yang lebih kecil meringkaskan bahagian lama perbualan menjadi satu perenggan yang kekal di bahagian atas konteks. Ini adalah ringkasan bergulir.
Ejen pengekodan yang hampir dengan hadnya menulis serahan: matlamat, fail diubah, pepijat terbuka dan keputusan dibuat. Ia kemudian memulakan konteks baharu yang mengandungi penyerahan itu dan fail terbaharu.
Ejen menggantikan hasil carian yang lebih lama daripada beberapa pusingan dengan pemegang tempat yang pendek, seperti '[output carian web dibersihkan: 12 hasil]'. Keputusan mentah jarang diperlukan lagi setelah ejen bertindak ke atasnya.
Penyedia telah mula membina pengurusan sejarah ke dalam platform mereka. Ciri termasuk keadaan perbualan sebelah pelayan, pemadatan automatik dan pengeditan konteks yang mengosongkan hasil alat lama. Ini mengurangkan boilerplate, tetapi pemaju masih perlu memutuskan perkara yang tidak boleh dilupakan. Penyelidikan diteruskan pada model yang menggunakan konteks yang panjang dengan lebih dipercayai dan pada sistem memori yang menyimpan dan mendapatkan semula fakta merentas sesi. Pemadatan mungkin akan menjadi tingkah laku lalai dalam rangka kerja ejen, tetapi pertukaran antara butiran dan ruang tidak akan hilang. Tiada kaedah menyimpan semuanya secara percuma, jadi menguji apa yang hilang akan kekal sebagai sebahagian daripada tugas.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Pengurusan sejarah perbualan ialah set teknik yang mengekalkan sesi sembang atau ejen yang panjang di bawah had konteks model. Yang utama adalah menjatuhkan selekoh lama, meringkaskan bahagian awal, memampatkan keseluruhan sejarah menjadi ringkas yang padat dan membersihkan output alat lama. Ia penting kerana model bahasa tidak mempunyai memori antara panggilan melebihi apa yang dihantar semula oleh aplikasi. Sebaik sahaja sejarah melampaui tingkap, sesuatu mesti dipotong, dan apa yang dipotong menentukan sama ada pembantu kekal koheren.
API tanpa kewarganegaraan memproses keseluruhan sejarah pada setiap panggilan. Apabila sejarah berkembang, begitu juga token, kos dan kependaman setiap permintaan.
Menyimpan hanya selekoh baru-baru ini adalah murah dan boleh diramal, tetapi apa-apa yang jatuh dari tingkap hilang melainkan ia disematkan.
Setiap pusingan ringkasan adalah lossy. Kesilapan dalam satu ringkasan membawa kepada yang seterusnya, jadi ralat boleh membina dalam sesi yang panjang.
Pemadatan memekatkan sesi menjadi ringkasan yang disengajakan dan memulakan konteks baharu dengannya dan giliran terkini. Ejen boleh meneruskan tanpa sejarah penuh.
Output alat boleh menjadi sangat besar dan selalunya berguna sekali sahaja. Menukarnya untuk pemegang tempat membebaskan banyak ruang dan menyimpan rekod bahawa panggilan itu berlaku.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengurusan Ketergantungan Python untuk ML
Teknikal