SeterusnyaPanduan seterusnya
Penjanaan Penandaan Skema AI
Teknikal
PANDUAN Teknikal
Penjanaan tambahan cache (CAG) pramuat keseluruhan, pangkalan pengetahuan tetap ke dalam cache nilai kunci (KV) model bahasa sekali dan menggunakan semula cache itu untuk setiap soalan, bukannya mendapatkan semula dokumen bagi setiap pertanyaan seperti yang dilakukan oleh RAG.
Dengar panduan iniAI-diceritakan · ~3 min
Ia penting untuk korpora yang kecil dan stabil kerana ia menghapuskan ralat pengambilan semula dan penyelenggaraan indeks sambil menjawab lebih cepat daripada membaca semula dokumen setiap kali.
Penjanaan ditambah cache, atau CAG, menggantikan langkah mendapatkan semula dengan pramuat. Daripada mencari pangkalan pengetahuan untuk setiap soalan, sistem menyalurkan keseluruhan pangkalan pengetahuan kepada model sekali, menyimpan cache nilai kunci (KV) yang terhasil dan menggunakan semula cache itu untuk setiap pertanyaan berikutnya. Pendekatan itu diterangkan dalam kertas kerja Disember 2024 bertajuk Jangan Lakukan RAG: Apabila Penjanaan Ditambah Cache adalah Semua yang Anda Perlukan untuk Tugas Pengetahuan. Cache KV ialah set kunci perhatian perantaraan dan nilai yang dikira oleh pengubah untuk setiap token yang telah dibacanya. Biasanya ia dibina semasa satu permintaan dan dibuang. Dalam CAG, dokumen diproses lebih awal daripada masa, cache disimpan dan setiap soalan dilampirkan selepas awalan cache. Model ini hanya mengira token soalan baharu sebelum menjana, jadi jawapan bermula lebih cepat daripada jika dokumen dibaca semula setiap kali. Selepas menjawab, token yang dilampirkan dipotong supaya cache kembali kepada keadaan dokumen sahaja untuk pertanyaan seterusnya. Faedahnya ialah tiada ralat perolehan semula, kerana setiap dokumen sentiasa ada, tiada indeks pembenaman atau pangkalan data vektor untuk dikekalkan, dan kependaman setiap pertanyaan yang lebih rendah daripada konteks panjang yang naif. Had mengikuti secara langsung: keseluruhan korpus mesti dimuatkan dalam tetingkap konteks model, model mesti masih membuat alasan yang baik terhadap teks sebanyak itu, dan sebarang perubahan pada dokumen bermakna membina semula cache. Oleh itu, CAG sesuai dengan asas pengetahuan yang kecil dan stabil seperti manual produk, set dasar, sukatan pelajaran atau teks peraturan tetap. Ia tidak sesuai untuk koleksi yang besar, cepat berubah atau ditapis kebenaran. Salah tanggapan biasa ialah CAG melatih model tersebut. Tiada apa-apa yang diperhalusi; berat tidak berubah. Caching segera komersial daripada penyedia API ialah saudara yang dihoskan daripada idea yang sama.
Sebuah syarikat dengan buku panduan pekerja setebal 60 halaman memuatkannya ke dalam cache KV bagi model pemberat terbuka, jadi setiap soalan HR dijawab dengan buku panduan penuh yang ada dan tiada pangkalan data vektor untuk diselenggara.
Penjual perisian menyimpan cache manual produknya untuk pembantu sokongan dan membina semula cache hanya apabila versi manual baharu dikeluarkan.
Pengajar pramuat sukatan pelajaran kursus dan nota kuliah supaya pembantu kajian boleh menjawab soalan pelajar dengan cepat sepanjang semester.
Pasukan pematuhan menggunakan cache pantas API yang dihoskan untuk menyimpan teks kawal selia tetap sebagai awalan cache, membayar kadar yang dikurangkan untuk bacaan berulang merentas banyak soalan.
Julat praktikal CAG berkembang apabila tetingkap konteks memanjang dan pemampatan cache KV bertambah baik, tetapi ia kekal dibatasi oleh ingatan dan oleh seberapa baik model membuat pertimbangan terhadap input yang sangat panjang. Reka bentuk hibrid adalah langkah seterusnya yang semula jadi: cache teras stabil dokumen yang kerap diperlukan dan dapatkan ekor panjang atas permintaan. Penyelidikan tentang pemampatan cache, pemunggahan cache ke storan yang lebih murah dan memilih token yang hendak disimpan boleh menjadikan korpora pramuat yang lebih besar boleh dilaksanakan. Buat masa ini ujian yang munasabah adalah empirikal: bandingkan CAG, RAG dan konteks panjang biasa pada soalan, kos dan kekerapan kemas kini anda sendiri.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Penjanaan tambahan cache (CAG) pramuat keseluruhan, pangkalan pengetahuan tetap ke dalam cache nilai kunci (KV) model bahasa sekali dan menggunakan semula cache itu untuk setiap soalan, bukannya mendapatkan semula dokumen bagi setiap pertanyaan seperti yang dilakukan oleh RAG. Ia penting untuk korpora yang kecil dan stabil kerana ia menghapuskan ralat pengambilan semula dan penyelenggaraan indeks sambil menjawab lebih cepat daripada membaca semula dokumen setiap kali.
CAG mengira cache KV untuk korpus lebih awal daripada masa dan menggunakannya semula untuk setiap pertanyaan.
Kunci dan nilai daripada lapisan perhatian dicache supaya token lebih awal tidak perlu dikira semula.
Mengalih keluar token yang ditambahkan akan menetapkan semula cache kepada keadaan pramuat bersihnya untuk soalan seterusnya.
Kerana setiap dokumen telah dimuatkan, korpus dihadkan oleh tetingkap konteks dan memori yang tersedia.
Pengiraan dokumen telah dilakukan dan disimpan, jadi hanya soalan diproses setiap pertanyaan.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Penjanaan Penandaan Skema AI
Teknikal