What is KV Cache? Definition | AI Understanding

Definisi

Tensor kunci dan nilai yang disimpan daripada token sebelumnya yang membolehkan transformer menjana token baharu tanpa mengira semula perhatian masa lalu.

Istilah berkaitan

Pembelajaran Berterusan

Pendekatan latihan yang membolehkan model terus belajar daripada data baharu tanpa melupakan pengetahuan terdahulu.

Persampelan Top-k

Strategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.

Pembelajaran Tanpa Selia

Corak pembelajaran daripada data tidak berlabel tanpa output sasaran yang jelas.

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Tokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.

Penalti Kehadiran

Tetapan penyahkodan yang mengurangkan kebarangkalian token yang telah muncul sama sekali, menggalakkan topik baharu.

Ketahui lebih lanjut dalam panduan percuma kami

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma