Rehber bağlantılı sınav · Sert Seviye

PagedAttention ve vLLM Sınavı

PagedAttention KV bloklarını, mantıksal-fiziksel eşlemeyi ve önbellek tasarrufları ile toplam model depolama arasındaki ayrım da dahil olmak üzere paylaşımı test edin.

İlgili kılavuz yollarıSayfa Dikkati ve Vllm
Soru 1 arasında 8

Metin oluşturma sırasında 'KV önbelleği' neyi saklıyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Metin oluşturma sırasında 'KV önbelleği' neyi saklıyor?
    • Modelin eğitim verileri
    • Kullanıcının oturum açma kimlik bilgileri
    • Yeni belirteçlerin onlara katılabilmesi için geçmiş belirteçlerin anahtar ve değer vektörleri
    • Model ağırlıklarının sıkıştırılmış bir kopyası
  2. PagedAttention'a hangi işletim sistemi konsepti ilham verdi?
    • Disk birleştirme araçları
    • Sanal bellek sayfalama
    • Dosya sıkıştırma
    • CPU şube tahmini
  3. PagedAttention geleneksel KV önbellek tahsisiyle ilgili hangi sorunu çözüyor?
    • Yavaş internet bağlantıları
    • Eğitim verilerinin eksikliği
    • Zayıf şifre güvenliği
    • Her istek için büyük bitişik blokların ayrılmasından kaynaklanan bellek israfı
  4. PagedAttention, birden fazla çıkışın ortak bir istem için belleği paylaşmasına nasıl izin verir?
    • Farklı diziler, yazma üzerine kopyalama yoluyla aynı fiziksel sayfalara işaret eder
    • İlk kullanımdan sonra istemi siler
    • İstemi diskte saklar
    • Her çıktı için modeli yeniden eğitir
  5. vLLM ve PagedAttention ilk olarak nerede geliştirildi?
    • 1990'lardan kalma bir akademik laboratuvar
    • UC Berkeley (2023'te yayınlandı)
    • Bir donanım satıcısının pazarlama ekibi
    • Anonim bir çevrimiçi forum
  6. LLM'ye hizmet eden biri için vLLM'nin temel pratik faydası nedir?
    • Kıyaslamalarda daha yüksek model doğruluğu
    • Otomatik veri etiketleme
    • Ücretsiz GPU donanımı
    • GPU başına daha yüksek verim ve daha fazla eş zamanlı istek
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence