Quiz połączony z przewodnikiem · Ciężko Poziom

PagedAttention i vLLM Quiz

Przetestuj bloki PagedAttention KV, mapowanie logiczne na fizyczne i udostępnianie, w tym rozróżnienie między oszczędnością pamięci podręcznej a całkowitą pamięcią modelu.

Powiązane ścieżki prowadzącePagedattention i Vllm
Pytanie 1 z 8

Co przechowuje „pamięć podręczna KV” podczas generowania tekstu?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co przechowuje „pamięć podręczna KV” podczas generowania tekstu?
    • Dane szkoleniowe modelu
    • Dane logowania użytkownika
    • Wektory klucza i wartości dla przeszłych tokenów, aby nowe tokeny mogły się nimi zająć
    • Skompresowana kopia ciężarów modelu
  2. Jaka koncepcja systemu operacyjnego zainspirowała PagedAttention?
    • Narzędzia do defragmentacji dysku
    • Stronicowanie pamięci wirtualnej
    • Kompresja plików
    • Przewidywanie gałęzi procesora
  3. Jaki problem z tradycyjną alokacją pamięci podręcznej KV rozwiązuje PagedAttention?
    • Powolne połączenia internetowe
    • Brak danych treningowych
    • Słabe bezpieczeństwo hasła
    • Marnowanie pamięci spowodowane rezerwowaniem dużych, ciągłych bloków dla każdego żądania
  4. W jaki sposób PagedAttention pozwala wielu wynikom współdzielić pamięć dla wspólnego monitu?
    • Różne sekwencje wskazują na te same strony fizyczne poprzez kopiowanie przy zapisie
    • Usuwa monit po pierwszym użyciu
    • Przechowuje monit na dysku
    • Ponowne uczenie modelu dla każdego wyniku
  5. Gdzie pierwotnie opracowano vLLM i PagedAttention?
    • Laboratorium akademickie z lat 90
    • Uniwersytet Kalifornijski w Berkeley (opublikowano w 2023 r.)
    • Zespół marketingowy dostawcy sprzętu
    • Anonimowe forum internetowe
  6. Jaka jest główna praktyczna korzyść vLLM dla osoby obsługującej LLM?
    • Większa dokładność modelu w testach porównawczych
    • Automatyczne etykietowanie danych
    • Darmowy sprzęt GPU
    • Wyższa przepustowość i więcej jednoczesnych żądań na procesor graficzny
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • Harmonogram szybkości uczenia się
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence