Istilah Glosari AI

Apakah Cache KV?

Definisi

Tensor kunci dan nilai yang disimpan daripada token sebelumnya yang membolehkan transformer menjana token baharu tanpa mengira semula perhatian masa lalu.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Pembelajaran BerterusanPendekatan latihan yang membolehkan model terus belajar daripada data baharu tanpa melupakan pengetahuan terdahulu.Persampelan Top-kStrategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.Pembelajaran Tanpa SeliaCorak pembelajaran daripada data tidak berlabel tanpa output sasaran yang jelas.Perhatian Tingkap GelongsorCorak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.Potongan AyatTokenizer agnostik bahasa yang mempelajari unit subkata terus daripada teks mentah tanpa membahagikan pada ruang kosong.Penalti KehadiranTetapan penyahkodan yang mengurangkan kebarangkalian token yang telah muncul sama sekali, menggalakkan topik baharu.

Ketahui lebih lanjut dalam panduan percuma kami

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Lihat juga

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts