PANDUAN AI Bahasa

Kejuruteraan Konteks

Kejuruteraan konteks ialah amalan menentukan perkara yang dilihat oleh model bahasa pada setiap langkah (arahan, dokumen yang diambil, definisi alat dan hasil, sejarah perbualan dan ingatan) dan menyesuaikannya ke dalam tetingkap konteks terhad.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Kejuruteraan Konteks
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia lebih jauh daripada kata-kata yang pantas. Ini penting kerana kualiti output sangat bergantung pada apa yang ada di dalam tetingkap, dan dalam ejen dan tugasan panjang konteks itu dihimpunkan mengikut kod pada setiap panggilan, bukan ditaip sekali oleh seseorang.

Menyelam dalam

Kejuruteraan segera menumpukan pada perkataan satu permintaan. Kejuruteraan konteks mengambil pandangan yang lebih luas. Model menerima satu urutan token, dan segala-galanya di dalamnya bersaing untuk mendapatkan ruang dan perhatian model. Urutan itu biasanya termasuk gesaan sistem, definisi alat, petikan yang diambil, giliran sebelumnya, output alat dan kadangkala ingatan jangka panjang. Istilah ini menjadi biasa pada tahun 2025, apabila ejen pembinaan pasukan mendapati bahawa banyak kegagalan datang daripada model yang mempunyai maklumat yang salah, terlalu banyak maklumat atau maklumat yang bercanggah, dan bukannya daripada ungkapan yang lemah. Beberapa prinsip mengikuti. Pertama, perkaitan mengatasi kelantangan. Sesetengah model menerima ratusan ribu token, tetapi mereka tidak menggunakan setiap token dengan sama rata. Kajian 'lost in the middle' (Liu et al., 2023) mendapati bahawa model sering menggunakan maklumat pada permulaan dan akhir input yang panjang lebih baik daripada maklumat yang terkubur di tengah. Kedua, konteks ialah belanjawan. Setiap token memerlukan wang dan menambah kependaman, dan bahan yang tidak berkaitan boleh mengalih perhatian model. Ketiga, struktur membantu. Bahagian yang jelas, dokumen berlabel dan format yang konsisten memudahkan model mencari perkara yang penting. Teknik biasa termasuk: - penjanaan tambahan-dapatkan semula, yang hanya mengambil petikan yang berkaitan - pemuatan tepat pada masanya, di mana ejen memegang rujukan ringan seperti nama fail atau ID dan menggunakan alat untuk menarik kandungan penuh apabila diperlukan - pengambilan nota berstruktur yang mengekalkan keadaan di luar tingkap - pemadatan sejarah panjang - sub-ejen yang kembali menerokai konteks baharu yang terkondensasi ialah konteks kejuruteraan yang baru. untuk menggesa. Kata-kata adalah sebahagian daripadanya, tetapi kebanyakan kerja adalah reka bentuk sistem: memutuskan perkara yang dapat diambil, diringkaskan atau digugurkan, dan dalam susunan apa ia muncul. Satu lagi tanggapan salah ialah tetingkap yang lebih besar menghilangkan keperluan untuk ini. Tingkap yang lebih besar merendahkan tekanan, tetapi had kos dan perhatian kekal.

Pelaksanaan Dunia Sebenar

Bot sokongan pelanggan hanya mengambil tiga artikel pusat bantuan yang paling berkaitan serta peringkat pelan pelanggan. Ia tidak menampal seluruh pangkalan pengetahuan ke dalam setiap permintaan.

Ejen pengekodan bermula dengan senarai laluan fail dan tandatangan fungsi, kemudian menggunakan alat fail baca untuk memuatkan fail penuh hanya apabila ia memerlukannya.

Pembantu mesyuarat menyimpan keputusan dan item tindakan ke fail nota berstruktur dan memuatkan semula fail itu sesi seterusnya, bukannya memainkan semula setiap transkrip yang lalu.

Pasukan menukar alat pangkalan data supaya ia mengembalikan ringkasan yang ditapis dengan kiraan baris dan bukannya 5,000 baris JSON mentah. Ini menghentikan tetingkap ejen daripada mengisi data yang tidak akan digunakan.

Masa Depan Kejuruteraan Konteks

Tetingkap konteks telah berkembang dengan cepat, dan model semakin baik dalam menggunakan input yang panjang. Had kos, kependaman dan perhatian masih menjadikannya penting untuk memilih perkara yang masuk. Lebih banyak kerja ini bergerak ke dalam rangka kerja dan platform, dan beberapa pembekal sudah menawarkan alatan memori terbina dalam, pemadatan automatik dan pengambilan terurus. Kemahiran itu mungkin akan beralih daripada menyusun konteks dengan tangan ke arah mereka bentuk dasar untuk perkara yang harus diingat, ambil atau lupakan oleh ejen, dan kemudian menguji dasar tersebut. Ia adalah persoalan terbuka sama ada reka bentuk model masa depan memerlukan penyusunan yang kurang teliti. Buat masa ini, konteks yang direka bentuk dengan sengaja ialah salah satu cara yang paling boleh dipercayai untuk meningkatkan output model.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
  • Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
  • Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.

Berhati-hati untuk

  • Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
  • Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
  • Data teks sensitif mungkin terdedah jika kawalan akses lemah.

Langkah seterusnya

  1. Tentukan format output, nada dan standard kualiti sebelum pelancaran.
  2. Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
  3. Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
  4. Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Context Engineering quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Kejuruteraan Konteks?

Kejuruteraan konteks ialah amalan menentukan perkara yang dilihat oleh model bahasa pada setiap langkah (arahan, dokumen yang diambil, definisi alat dan hasil, sejarah perbualan dan ingatan) dan menyesuaikannya ke dalam tetingkap konteks terhad. Ia lebih jauh daripada kata-kata yang pantas. Ini penting kerana kualiti output sangat bergantung pada apa yang ada di dalam tetingkap, dan dalam ejen dan tugasan panjang konteks itu dihimpunkan mengikut kod pada setiap panggilan, bukan ditaip sekali oleh seseorang.

Apakah yang terbaik membezakan kejuruteraan konteks daripada kejuruteraan segera?

Kejuruteraan konteks menganggap keseluruhan jujukan token yang diterima model sebagai sesuatu untuk mereka bentuk: arahan, petikan yang diambil, definisi dan output alat, sejarah dan ingatan. Perkataan pantas hanyalah satu bahagian daripadanya.

Apakah yang dicadangkan oleh penyelidikan 'lost in the middle' tentang input panjang?

Liu et al. (2023) mendapati bahawa prestasi sering menurun apabila maklumat yang berkaitan berada di tengah-tengah konteks yang panjang. Itulah satu sebab perkaitan dan peletakan lebih penting daripada jumlah semata-mata.

Mengapakah panduan menggambarkan konteks sebagai belanjawan?

Token dalam tetingkap mempunyai kos sebenar dalam harga dan masa tindak balas. Token yang tidak berkaitan juga bersaing dengan yang berkaitan untuk perhatian model, jadi ia harus dibelanjakan dengan sengaja.

Apakah pemuatan tepat dalam masa?

Daripada memuatkan segala-galanya di hadapan, ejen memegang petunjuk dan menarik kandungan penuh hanya apabila langkah memerlukannya. Ini menjadikan tingkap sentiasa kurus.

Mengapakah ia berguna untuk meletakkan kandungan stabil, seperti arahan sistem dan definisi alat, pada permulaan dalam susunan tetap?

Penyedia yang menyokong caching segera boleh menggunakan semula awalan yang kekal sama bait merentas panggilan. Mengutamakan kandungan yang stabil dan mengubah perbualan terakhir membolehkannya.