What is KV Cache? Definition | AI Understanding

Definisi

Tensor kunci dan nilai tersimpan dari token sebelumnya yang memungkinkan transformator menghasilkan token baru tanpa menghitung ulang perhatian sebelumnya.

Istilah terkait

Pembelajaran Berkelanjutan

Pendekatan pelatihan yang memungkinkan model terus belajar dari data baru tanpa melupakan pengetahuan sebelumnya.

Pengambilan Sampel Top-k

Strategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.

Pembelajaran Tanpa Pengawasan

Pola pembelajaran dari data tidak berlabel tanpa target keluaran yang jelas.

Perhatian Jendela Geser

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Potongan Kalimat

Tokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.

Penalti Kehadiran

Pengaturan decoding yang mengurangi kemungkinan munculnya token, mendorong topik baru.

Pelajari lebih lanjut di panduan gratis kami

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis