PANDUAN AI Bahasa

Konteks Panjang lwn RAG

Konteks panjang bermaksud memasukkan keseluruhan dokumen secara terus ke dalam tetingkap konteks besar model, manakala RAG mendapatkan semula hanya petikan yang paling berkaitan untuk setiap soalan.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Konteks Panjang lwn RAG
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Konteks panjang selalunya lebih ringkas dan lebih baik apabila pengetahuan muat dalam tetingkap dan soalan memerlukan pandangan keseluruhan dokumen; RAG biasanya menang dari segi kos setiap pertanyaan, latensi, kesegaran, skala dan kawalan akses. Kebanyakan sistem yang kukuh menggabungkan kedua-duanya daripada memilih salah satu.

Menyelam dalam

Context windows grew from a few thousand tokens in early chat models to hundreds of thousands, and Google's Gemini 1.5 Pro, announced in 2024, offered a window of one million tokens. That raised an obvious question: if the model can read an entire manual, why build a retrieval pipeline at all? The answer depends on four trade-offs. Cost: providers charge per input token, so sending hundreds of thousands of tokens with every question costs far more than sending a few thousand relevant ones, although prompt caching can reduce the price of a repeated prefix. Latency: the model must process every input token before answering, so time to first token rises with context length. Accuracy: long context avoids retrieval misses, since nothing is filtered out, and it handles questions that need the whole document, like summarizing themes or comparing chapters. But models do not use all positions equally. The 2023 study Lost in the Middle found performance dropped when relevant information sat in the middle of long inputs, and needle-in-a-haystack tests measure only simple lookup, not reasoning across many scattered facts. Freshness and scale: RAG indexes can be updated incrementally, cover far more documents than any window, and support per-user access control by filtering what is retrieved. A practical rule: if the knowledge fits comfortably in the window, is queried repeatedly, and questions need broad understanding, long context is often simpler and better. If the corpus is large, changes often, has permissions, or must be answered cheaply with citations, retrieve. The common misconception is that one replaces the other. Many strong systems combine them: retrieve generously at the document level, then use a long window to include whole documents rather than small fragments.

Pelaksanaan Dunia Sebenar

Seorang peguam memuatkan satu perjanjian penggabungan setebal 300 halaman ke dalam model konteks panjang untuk bertanya bagaimana terma ganti rugi berinteraksi merentasi bahagian, satu soalan yang tidak dapat dijawab dengan baik oleh keratan yang diambil secara berselerak.

Platform sokongan pelanggan dengan berjuta-juta artikel bantuan yang berubah setiap hari menggunakan RAG, kerana tiada tetingkap konteks yang mampu memuatkan keseluruhan korpus dan indeks boleh dikemas kini artikel demi artikel.

Bot sembang syarikat yang melayani pekerja dengan tahap pelepasan keselamatan yang berbeza menggunakan pengambilan dengan penapis kebenaran, supaya gesaan setiap pengguna hanya mengandungi dokumen yang dibenarkan untuk mereka lihat.

Pasukan penyelidik mendapatkan semula sepuluh kertas kerja yang paling berkaitan, kemudian memasukkan setiap kertas kerja penuh ke dalam tetingkap konteks panjang dan bukannya serpihan kecil, menggabungkan kedua-dua pendekatan.

Masa Depan Konteks Panjang lwn RAG

Tetingkap yang lebih besar dan diskaun pengecosan mengalihkan titik pulang modal ke arah konteks panjang untuk korpus kecil dan sederhana. Pengambilan berkemungkinan besar tidak akan pupus, kerana banyak organisasi menyimpan teks yang jauh lebih banyak daripada mana-mana tetingkap, data mereka sentiasa berubah, dan mereka memerlukan kebenaran serta petikan bagi setiap pengguna. Arah yang lebih berkemungkinan ialah penggabungan: ejen yang memutuskan bila untuk mendapatkan semula, membaca keseluruhan dokumen apabila ditemui, dan mencaj apa yang mereka guna semula. Penyelidikan diteruskan untuk memastikan model menggunakan kedudukan tengah dengan pasti dan untuk tumpuan yang lebih murah bagi input yang panjang. Oleh kerana harga dan model kerap berubah, pasukan harus menjalankan semula perbandingan kos dan ketepatan mereka sendiri secara berkala.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
  • Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
  • Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.

Berhati-hati untuk

  • Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
  • Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
  • Data teks sensitif mungkin terdedah jika kawalan akses lemah.

Langkah seterusnya

  1. Tentukan format output, nada dan standard kualiti sebelum pelancaran.
  2. Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
  3. Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
  4. Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Konteks Panjang lwn RAG

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah itu Konteks Panjang lwn RAG?

Konteks panjang bermaksud memasukkan keseluruhan dokumen secara terus ke dalam tetingkap konteks besar model, manakala RAG mendapatkan semula hanya petikan yang paling berkaitan untuk setiap soalan. Konteks panjang selalunya lebih ringkas dan lebih baik apabila pengetahuan muat dalam tetingkap dan soalan memerlukan pandangan keseluruhan dokumen; RAG biasanya menang dari segi kos setiap pertanyaan, latensi, kesegaran, skala dan kawalan akses. Kebanyakan sistem yang kukuh menggabungkan kedua-duanya daripada memilih salah satu.

Mengapakah pendekatan konteks panjang biasanya lebih mahal setiap pertanyaan berbanding RAG?

Kos berskala mengikut token input, jadi menghantar keseluruhan korpus setiap kali menelan belanja yang jauh lebih tinggi daripada menghantar beberapa petikan yang berkaitan.

Apakah yang didapati oleh kajian Lost in the Middle 2023?

Model menggunakan maklumat di permulaan dan penghujung input panjang dengan lebih konsisten berbanding maklumat di bahagian tengah.

Apakah batasan utama ujian mencari jarum dalamas tumpukan jerami?

Mencari satu fakta yang tersembunyi adalah lebih mudah berbanding menggabungkan beberapa fakta yang tersebar di dalam sesuatu dokumen.

Situasi manakah yang paling jelas menyebelahi RAG berbanding konteks panjang?

RAG berskala melebihi sebarang tetingkap, dikemas kini secara beransur-ansur, dan boleh menapis keputusan mengikut kebenaran.

Apabila menggunakan pengecosan gesaan dengan korpus yang panjang, bagaimanakah gesaan itu harus disusun?

Penyimpanan sementara (caching) menggunakan semula awalan yang sama, jadi kandungan yang tidak berubah mesti diletakkan di bahagian hadapan.