PANDUAN Teknikal

Penjanaan Ditambah Cache (CAG)

Penjanaan tambahan cache (CAG) pramuat keseluruhan, pangkalan pengetahuan tetap ke dalam cache nilai kunci (KV) model bahasa sekali dan menggunakan semula cache itu untuk setiap soalan, bukannya mendapatkan semula dokumen bagi setiap pertanyaan seperti yang dilakukan oleh RAG.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Penjanaan Ditambah Cache (CAG)
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia penting untuk korpora yang kecil dan stabil kerana ia menghapuskan ralat pengambilan semula dan penyelenggaraan indeks sambil menjawab lebih cepat daripada membaca semula dokumen setiap kali.

Menyelam dalam

Penjanaan ditambah cache, atau CAG, menggantikan langkah mendapatkan semula dengan pramuat. Daripada mencari pangkalan pengetahuan untuk setiap soalan, sistem menyalurkan keseluruhan pangkalan pengetahuan kepada model sekali, menyimpan cache nilai kunci (KV) yang terhasil dan menggunakan semula cache itu untuk setiap pertanyaan berikutnya. Pendekatan itu diterangkan dalam kertas kerja Disember 2024 bertajuk Jangan Lakukan RAG: Apabila Penjanaan Ditambah Cache adalah Semua yang Anda Perlukan untuk Tugas Pengetahuan. Cache KV ialah set kunci perhatian perantaraan dan nilai yang dikira oleh pengubah untuk setiap token yang telah dibacanya. Biasanya ia dibina semasa satu permintaan dan dibuang. Dalam CAG, dokumen diproses lebih awal daripada masa, cache disimpan dan setiap soalan dilampirkan selepas awalan cache. Model ini hanya mengira token soalan baharu sebelum menjana, jadi jawapan bermula lebih cepat daripada jika dokumen dibaca semula setiap kali. Selepas menjawab, token yang dilampirkan dipotong supaya cache kembali kepada keadaan dokumen sahaja untuk pertanyaan seterusnya. Faedahnya ialah tiada ralat perolehan semula, kerana setiap dokumen sentiasa ada, tiada indeks pembenaman atau pangkalan data vektor untuk dikekalkan, dan kependaman setiap pertanyaan yang lebih rendah daripada konteks panjang yang naif. Had mengikuti secara langsung: keseluruhan korpus mesti dimuatkan dalam tetingkap konteks model, model mesti masih membuat alasan yang baik terhadap teks sebanyak itu, dan sebarang perubahan pada dokumen bermakna membina semula cache. Oleh itu, CAG sesuai dengan asas pengetahuan yang kecil dan stabil seperti manual produk, set dasar, sukatan pelajaran atau teks peraturan tetap. Ia tidak sesuai untuk koleksi yang besar, cepat berubah atau ditapis kebenaran. Salah tanggapan biasa ialah CAG melatih model tersebut. Tiada apa-apa yang diperhalusi; berat tidak berubah. Caching segera komersial daripada penyedia API ialah saudara yang dihoskan daripada idea yang sama.

Pelaksanaan Dunia Sebenar

Sebuah syarikat dengan buku panduan pekerja setebal 60 halaman memuatkannya ke dalam cache KV bagi model pemberat terbuka, jadi setiap soalan HR dijawab dengan buku panduan penuh yang ada dan tiada pangkalan data vektor untuk diselenggara.

Penjual perisian menyimpan cache manual produknya untuk pembantu sokongan dan membina semula cache hanya apabila versi manual baharu dikeluarkan.

Pengajar pramuat sukatan pelajaran kursus dan nota kuliah supaya pembantu kajian boleh menjawab soalan pelajar dengan cepat sepanjang semester.

Pasukan pematuhan menggunakan cache pantas API yang dihoskan untuk menyimpan teks kawal selia tetap sebagai awalan cache, membayar kadar yang dikurangkan untuk bacaan berulang merentas banyak soalan.

Masa Depan Penjanaan Ditambah Cache (CAG)

Julat praktikal CAG berkembang apabila tetingkap konteks memanjang dan pemampatan cache KV bertambah baik, tetapi ia kekal dibatasi oleh ingatan dan oleh seberapa baik model membuat pertimbangan terhadap input yang sangat panjang. Reka bentuk hibrid adalah langkah seterusnya yang semula jadi: cache teras stabil dokumen yang kerap diperlukan dan dapatkan ekor panjang atas permintaan. Penyelidikan tentang pemampatan cache, pemunggahan cache ke storan yang lebih murah dan memilih token yang hendak disimpan boleh menjadikan korpora pramuat yang lebih besar boleh dilaksanakan. Buat masa ini ujian yang munasabah adalah empirikal: bandingkan CAG, RAG dan konteks panjang biasa pada soalan, kos dan kekerapan kemas kini anda sendiri.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Cache-Augmented Generation (CAG) quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah itu Cache-Augmented Generation (CAG)?

Penjanaan tambahan cache (CAG) pramuat keseluruhan, pangkalan pengetahuan tetap ke dalam cache nilai kunci (KV) model bahasa sekali dan menggunakan semula cache itu untuk setiap soalan, bukannya mendapatkan semula dokumen bagi setiap pertanyaan seperti yang dilakukan oleh RAG. Ia penting untuk korpora yang kecil dan stabil kerana ia menghapuskan ralat pengambilan semula dan penyelenggaraan indeks sambil menjawab lebih cepat daripada membaca semula dokumen setiap kali.

Apakah yang CAG gunakan dan bukannya pengambilan setiap pertanyaan?

CAG mengira cache KV untuk korpus lebih awal daripada masa dan menggunakannya semula untuk setiap pertanyaan.

Apakah cache KV dalam pengubah?

Kunci dan nilai daripada lapisan perhatian dicache supaya token lebih awal tidak perlu dikira semula.

Mengapakah sistem CAG memotong cache selepas setiap jawapan?

Mengalih keluar token yang ditambahkan akan menetapkan semula cache kepada keadaan pramuat bersihnya untuk soalan seterusnya.

Apakah had utama CAG?

Kerana setiap dokumen telah dimuatkan, korpus dihadkan oleh tetingkap konteks dan memori yang tersedia.

Mengapa CAG menjawab lebih cepat daripada menampal dokumen ke dalam setiap permintaan?

Pengiraan dokumen telah dilakukan dan disimpan, jadi hanya soalan diproses setiap pertanyaan.