Rehber bağlantılı sınav · Orta Seviye

KV Önbellek Optimizasyon Testi

KV önbellek büyümesini, disk belleği tahsisini, gruplandırılmış sorgu paylaşımını, ön ek yeniden kullanım koşullarını, nicelemeyi ve bağlam ve eşzamanlılıkla bellek ölçeklendirmeyi kontrol eder.

İlgili kılavuz yollarıKv Önbellek Optimizasyonu
Soru 1 arasında 8

KV önbelleği neyi saklıyor ve neden?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. KV önbelleği neyi saklıyor ve neden?
    • Her adımda yeniden hesaplanmamaları için dikkat anahtarları ve değerleri önceden hesaplandı
    • Modelin yeniden eğitim için eğitim verileri
    • Kimlik doğrulama için kullanıcı şifreleri
    • Yalnızca son metin çıktısı
  2. KV önbelleği neden bir bellek sorunu haline gelebilir?
    • GPU'yu kalıcı olarak bozar
    • Dizi uzunluğu, parti boyutu ve katmanlarla birlikte büyür, bazen model ağırlıklarını aşar
    • Yalnızca 10 kelimeden kısa metinlerde çalışır
    • İşletim sistemini kopyalıyor
  3. PagedAttention hangi işletim sistemi konseptini ödünç alıyor?
    • Disk birleştirme yardımcı programları
    • Antivirüs taraması
    • Sabit boyutlu bloklarla sanal bellek sayfalama
    • Ekran çözünürlüğü ölçeklendirme
  4. Gruplandırılmış Sorgu ve Çoklu Sorgu Dikkati KV önbellek boyutunu nasıl azaltır?
    • Dikkat mekanizmasını silerek
    • Önbelleği görüntüler olarak depolayarak
    • Daha az veri üzerinde eğitim alarak
    • Birçok sorgu kafasının daha az anahtar/değer kafasını paylaşmasına izin vererek
  5. KV önbelleğinde önek paylaşımının avantajlarından biri nedir?
    • Aynı başlangıç istemine sahip istekler aynı önbelleğe alınmış blokları yeniden kullanabilir
    • Modeli şifreler
    • Her isteği eşit derecede yavaşlatır
    • Dikkat ihtiyacını ortadan kaldırır
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible