SeterusnyaPanduan seterusnya
Pemodelan Konteks Panjang
AI bahasa
PANDUAN AI Bahasa
Konteks panjang bermaksud memasukkan keseluruhan dokumen secara terus ke dalam tetingkap konteks besar model, manakala RAG mendapatkan semula hanya petikan yang paling berkaitan untuk setiap soalan.
Dengar panduan iniAI-diceritakan · ~3 min
Konteks panjang selalunya lebih ringkas dan lebih baik apabila pengetahuan muat dalam tetingkap dan soalan memerlukan pandangan keseluruhan dokumen; RAG biasanya menang dari segi kos setiap pertanyaan, latensi, kesegaran, skala dan kawalan akses. Kebanyakan sistem yang kukuh menggabungkan kedua-duanya daripada memilih salah satu.
Context windows grew from a few thousand tokens in early chat models to hundreds of thousands, and Google's Gemini 1.5 Pro, announced in 2024, offered a window of one million tokens. That raised an obvious question: if the model can read an entire manual, why build a retrieval pipeline at all? The answer depends on four trade-offs. Cost: providers charge per input token, so sending hundreds of thousands of tokens with every question costs far more than sending a few thousand relevant ones, although prompt caching can reduce the price of a repeated prefix. Latency: the model must process every input token before answering, so time to first token rises with context length. Accuracy: long context avoids retrieval misses, since nothing is filtered out, and it handles questions that need the whole document, like summarizing themes or comparing chapters. But models do not use all positions equally. The 2023 study Lost in the Middle found performance dropped when relevant information sat in the middle of long inputs, and needle-in-a-haystack tests measure only simple lookup, not reasoning across many scattered facts. Freshness and scale: RAG indexes can be updated incrementally, cover far more documents than any window, and support per-user access control by filtering what is retrieved. A practical rule: if the knowledge fits comfortably in the window, is queried repeatedly, and questions need broad understanding, long context is often simpler and better. If the corpus is large, changes often, has permissions, or must be answered cheaply with citations, retrieve. The common misconception is that one replaces the other. Many strong systems combine them: retrieve generously at the document level, then use a long window to include whole documents rather than small fragments.
Seorang peguam memuatkan satu perjanjian penggabungan setebal 300 halaman ke dalam model konteks panjang untuk bertanya bagaimana terma ganti rugi berinteraksi merentasi bahagian, satu soalan yang tidak dapat dijawab dengan baik oleh keratan yang diambil secara berselerak.
Platform sokongan pelanggan dengan berjuta-juta artikel bantuan yang berubah setiap hari menggunakan RAG, kerana tiada tetingkap konteks yang mampu memuatkan keseluruhan korpus dan indeks boleh dikemas kini artikel demi artikel.
Bot sembang syarikat yang melayani pekerja dengan tahap pelepasan keselamatan yang berbeza menggunakan pengambilan dengan penapis kebenaran, supaya gesaan setiap pengguna hanya mengandungi dokumen yang dibenarkan untuk mereka lihat.
Pasukan penyelidik mendapatkan semula sepuluh kertas kerja yang paling berkaitan, kemudian memasukkan setiap kertas kerja penuh ke dalam tetingkap konteks panjang dan bukannya serpihan kecil, menggabungkan kedua-dua pendekatan.
Tetingkap yang lebih besar dan diskaun pengecosan mengalihkan titik pulang modal ke arah konteks panjang untuk korpus kecil dan sederhana. Pengambilan berkemungkinan besar tidak akan pupus, kerana banyak organisasi menyimpan teks yang jauh lebih banyak daripada mana-mana tetingkap, data mereka sentiasa berubah, dan mereka memerlukan kebenaran serta petikan bagi setiap pengguna. Arah yang lebih berkemungkinan ialah penggabungan: ejen yang memutuskan bila untuk mendapatkan semula, membaca keseluruhan dokumen apabila ditemui, dan mencaj apa yang mereka guna semula. Penyelidikan diteruskan untuk memastikan model menggunakan kedudukan tengah dengan pasti dan untuk tumpuan yang lebih murah bagi input yang panjang. Oleh kerana harga dan model kerap berubah, pasukan harus menjalankan semula perbandingan kos dan ketepatan mereka sendiri secara berkala.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Konteks panjang bermaksud memasukkan keseluruhan dokumen secara terus ke dalam tetingkap konteks besar model, manakala RAG mendapatkan semula hanya petikan yang paling berkaitan untuk setiap soalan. Konteks panjang selalunya lebih ringkas dan lebih baik apabila pengetahuan muat dalam tetingkap dan soalan memerlukan pandangan keseluruhan dokumen; RAG biasanya menang dari segi kos setiap pertanyaan, latensi, kesegaran, skala dan kawalan akses. Kebanyakan sistem yang kukuh menggabungkan kedua-duanya daripada memilih salah satu.
Kos berskala mengikut token input, jadi menghantar keseluruhan korpus setiap kali menelan belanja yang jauh lebih tinggi daripada menghantar beberapa petikan yang berkaitan.
Model menggunakan maklumat di permulaan dan penghujung input panjang dengan lebih konsisten berbanding maklumat di bahagian tengah.
Mencari satu fakta yang tersembunyi adalah lebih mudah berbanding menggabungkan beberapa fakta yang tersebar di dalam sesuatu dokumen.
RAG berskala melebihi sebarang tetingkap, dikemas kini secara beransur-ansur, dan boleh menapis keputusan mengikut kebenaran.
Penyimpanan sementara (caching) menggunakan semula awalan yang sama, jadi kandungan yang tidak berubah mesti diletakkan di bahagian hadapan.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pemodelan Konteks Panjang
AI bahasa