SeterusnyaPanduan seterusnya
Konteks Panjang lwn RAG
AI bahasa
PANDUAN AI Bahasa
Kejuruteraan konteks ialah amalan menentukan perkara yang dilihat oleh model bahasa pada setiap langkah (arahan, dokumen yang diambil, definisi alat dan hasil, sejarah perbualan dan ingatan) dan menyesuaikannya ke dalam tetingkap konteks terhad.
Dengar panduan iniAI-diceritakan · ~3 min
Ia lebih jauh daripada kata-kata yang pantas. Ini penting kerana kualiti output sangat bergantung pada apa yang ada di dalam tetingkap, dan dalam ejen dan tugasan panjang konteks itu dihimpunkan mengikut kod pada setiap panggilan, bukan ditaip sekali oleh seseorang.
Kejuruteraan segera menumpukan pada perkataan satu permintaan. Kejuruteraan konteks mengambil pandangan yang lebih luas. Model menerima satu urutan token, dan segala-galanya di dalamnya bersaing untuk mendapatkan ruang dan perhatian model. Urutan itu biasanya termasuk gesaan sistem, definisi alat, petikan yang diambil, giliran sebelumnya, output alat dan kadangkala ingatan jangka panjang. Istilah ini menjadi biasa pada tahun 2025, apabila ejen pembinaan pasukan mendapati bahawa banyak kegagalan datang daripada model yang mempunyai maklumat yang salah, terlalu banyak maklumat atau maklumat yang bercanggah, dan bukannya daripada ungkapan yang lemah. Beberapa prinsip mengikuti. Pertama, perkaitan mengatasi kelantangan. Sesetengah model menerima ratusan ribu token, tetapi mereka tidak menggunakan setiap token dengan sama rata. Kajian 'lost in the middle' (Liu et al., 2023) mendapati bahawa model sering menggunakan maklumat pada permulaan dan akhir input yang panjang lebih baik daripada maklumat yang terkubur di tengah. Kedua, konteks ialah belanjawan. Setiap token memerlukan wang dan menambah kependaman, dan bahan yang tidak berkaitan boleh mengalih perhatian model. Ketiga, struktur membantu. Bahagian yang jelas, dokumen berlabel dan format yang konsisten memudahkan model mencari perkara yang penting. Teknik biasa termasuk: - penjanaan tambahan-dapatkan semula, yang hanya mengambil petikan yang berkaitan - pemuatan tepat pada masanya, di mana ejen memegang rujukan ringan seperti nama fail atau ID dan menggunakan alat untuk menarik kandungan penuh apabila diperlukan - pengambilan nota berstruktur yang mengekalkan keadaan di luar tingkap - pemadatan sejarah panjang - sub-ejen yang kembali menerokai konteks baharu yang terkondensasi ialah konteks kejuruteraan yang baru. untuk menggesa. Kata-kata adalah sebahagian daripadanya, tetapi kebanyakan kerja adalah reka bentuk sistem: memutuskan perkara yang dapat diambil, diringkaskan atau digugurkan, dan dalam susunan apa ia muncul. Satu lagi tanggapan salah ialah tetingkap yang lebih besar menghilangkan keperluan untuk ini. Tingkap yang lebih besar merendahkan tekanan, tetapi had kos dan perhatian kekal.
Bot sokongan pelanggan hanya mengambil tiga artikel pusat bantuan yang paling berkaitan serta peringkat pelan pelanggan. Ia tidak menampal seluruh pangkalan pengetahuan ke dalam setiap permintaan.
Ejen pengekodan bermula dengan senarai laluan fail dan tandatangan fungsi, kemudian menggunakan alat fail baca untuk memuatkan fail penuh hanya apabila ia memerlukannya.
Pembantu mesyuarat menyimpan keputusan dan item tindakan ke fail nota berstruktur dan memuatkan semula fail itu sesi seterusnya, bukannya memainkan semula setiap transkrip yang lalu.
Pasukan menukar alat pangkalan data supaya ia mengembalikan ringkasan yang ditapis dengan kiraan baris dan bukannya 5,000 baris JSON mentah. Ini menghentikan tetingkap ejen daripada mengisi data yang tidak akan digunakan.
Tetingkap konteks telah berkembang dengan cepat, dan model semakin baik dalam menggunakan input yang panjang. Had kos, kependaman dan perhatian masih menjadikannya penting untuk memilih perkara yang masuk. Lebih banyak kerja ini bergerak ke dalam rangka kerja dan platform, dan beberapa pembekal sudah menawarkan alatan memori terbina dalam, pemadatan automatik dan pengambilan terurus. Kemahiran itu mungkin akan beralih daripada menyusun konteks dengan tangan ke arah mereka bentuk dasar untuk perkara yang harus diingat, ambil atau lupakan oleh ejen, dan kemudian menguji dasar tersebut. Ia adalah persoalan terbuka sama ada reka bentuk model masa depan memerlukan penyusunan yang kurang teliti. Buat masa ini, konteks yang direka bentuk dengan sengaja ialah salah satu cara yang paling boleh dipercayai untuk meningkatkan output model.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Kejuruteraan konteks ialah amalan menentukan perkara yang dilihat oleh model bahasa pada setiap langkah (arahan, dokumen yang diambil, definisi alat dan hasil, sejarah perbualan dan ingatan) dan menyesuaikannya ke dalam tetingkap konteks terhad. Ia lebih jauh daripada kata-kata yang pantas. Ini penting kerana kualiti output sangat bergantung pada apa yang ada di dalam tetingkap, dan dalam ejen dan tugasan panjang konteks itu dihimpunkan mengikut kod pada setiap panggilan, bukan ditaip sekali oleh seseorang.
Kejuruteraan konteks menganggap keseluruhan jujukan token yang diterima model sebagai sesuatu untuk mereka bentuk: arahan, petikan yang diambil, definisi dan output alat, sejarah dan ingatan. Perkataan pantas hanyalah satu bahagian daripadanya.
Liu et al. (2023) mendapati bahawa prestasi sering menurun apabila maklumat yang berkaitan berada di tengah-tengah konteks yang panjang. Itulah satu sebab perkaitan dan peletakan lebih penting daripada jumlah semata-mata.
Token dalam tetingkap mempunyai kos sebenar dalam harga dan masa tindak balas. Token yang tidak berkaitan juga bersaing dengan yang berkaitan untuk perhatian model, jadi ia harus dibelanjakan dengan sengaja.
Daripada memuatkan segala-galanya di hadapan, ejen memegang petunjuk dan menarik kandungan penuh hanya apabila langkah memerlukannya. Ini menjadikan tingkap sentiasa kurus.
Penyedia yang menyokong caching segera boleh menggunakan semula awalan yang kekal sama bait merentas panggilan. Mengutamakan kandungan yang stabil dan mengubah perbualan terakhir membolehkannya.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Konteks Panjang lwn RAG
AI bahasa