Rehber bağlantılı sınav · Orta Seviye

KV Önbellek Testi

Otoregresif kod çözme, bellek baskısı, çoklu istek paylaşımı ve disk belleği tahsisi değişimleri sırasında KV önbelleğinin yeniden kullanımını inceleyin.

İlgili kılavuz yollarıKV Önbellek
Soru 1 arasında 8

KV önbelleği neyi saklıyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. KV önbelleği neyi saklıyor?
    • Önceki tokenlar için hesaplanan anahtar ve değer vektörleri
    • Modelin tam ağırlıklı matrisleri
    • Kullanıcının sohbet geçmişi düz metin olarak
    • Nihai çıktı olasılıkları
  2. KV önbelleği öncelikle hangi sorunu çözer?
    • Oluşturulan metnin dilbilgisini geliştirir
    • Her adımda önceki tüm belirteçler için anahtarların ve değerlerin yeniden hesaplanmasını önler
    • Modelin kelime dağarcığını arttırır
    • Konuşmayı şifreliyor
  3. KV önbelleğinin ana dezavantajı nedir?
    • Üretimi yavaşlatır
    • Çıktı kalitesini düşürür
    • Bellek kullanımı bağlam uzunluğuyla doğrusal olarak artar
    • Yalnızca CPU'larda çalışır
  4. Hangi teknik, anahtarları ve değerleri dikkat başlıkları arasında paylaşarak KV önbellek boyutunu azaltır?
    • Bırakma
    • Işın arama
    • Tokenleştirme
    • Gruplandırılmış sorgu veya çoklu sorgu dikkati
  5. KV önbelleğine göre transformatör çıkarımının iki aşaması nelerdir?
    • Önceden doldurma (istemi işleme) ve kodu çözme (bir seferde bir jeton oluşturma)
    • Eğitim ve test
    • Kodlayın ve sıkıştırın
    • Yükleme ve indirme
  6. vLLM'nin PagedAttention özelliği KV önbelleği için ne yapar?
    • Her jetondan sonra önbelleği siler
    • Bellek parçalanmasını azaltmak için önbelleği bitişik olmayan bloklara ayırır
    • Önbelleği metne dönüştürür
    • Modelin parametre sayısını iki katına çıkarır
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use