What is KV Cache? Definition | AI Understanding

Tanım

Transformatörlerin geçmiş dikkati yeniden hesaplamadan yeni jetonlar oluşturmasına olanak tanıyan, önceki jetonlardan depolanan anahtar ve değer tensörleri.

İlgili terimler

Sürekli Öğrenme

Bir modelin önceki bilgileri unutmadan yeni verilerden öğrenmeye devam etmesine olanak tanıyan eğitim yaklaşımları.

Top-k Örnekleme

Yalnızca büyük olasılıkla sonraki k jetondan örnek alan bir kod çözme stratejisi.

Denetimsiz Öğrenme

Açık hedef çıktıları olmayan etiketlenmemiş verilerden öğrenme kalıpları.

Sürgülü Pencere Dikkat

İşlemi azaltmak için her belirtecin yalnızca yakındaki belirteçlerin sabit boyutlu bir penceresine katıldığı bir dikkat modeli.

CümleParçası

Alt kelime birimlerini, boşlukları önceden bölmeden doğrudan ham metinden öğrenen, dilden bağımsız bir simgeleştirici.

Mevcudiyet Cezası

Belirteçlerin ortaya çıkma olasılığını azaltan ve yeni konuları teşvik eden bir kod çözme ayarı.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Yapay Zeka Sözlüğünün tamamına göz atın Tüm ücretsiz AI kılavuzlarını keşfedin