Gids-gekoppelde quiz · Moeilijk Niveau
PagedAttention en vLLM-quiz
Test PagedAttention KV‑blokken, logisch‑naar‑fysieke mapping en delen, inclusief het onderscheid tussen cache‑geheugenspaargeld en totale modelopslag.
Vraag 1 van 8
Wat slaat de 'KV-cache' op tijdens het genereren van tekst?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat slaat de 'KV-cache' op tijdens het genereren van tekst?
- De trainingsgegevens van het model
- De inloggegevens van de gebruiker
- De sleutel- en waardevectoren voor tokens uit het verleden, zodat nieuwe tokens er rekening mee kunnen houden
- Een gecomprimeerde kopie van de modelgewichten
- Welk besturingssysteemconcept inspireerde PagedAttention?
- Hulpmiddelen voor schijfdefragmentatie
- Virtueel geheugen paging
- Bestandscompressie
- Voorspelling van CPU-vertakking
- Welk probleem met traditionele KV-cachetoewijzing lost PagedAttention op?
- Trage internetverbindingen
- Gebrek aan trainingsgegevens
- Zwakke wachtwoordbeveiliging
- Geheugenverspilling door het reserveren van grote aaneengesloten blokken voor elk verzoek
- Hoe zorgt PagedAttention ervoor dat meerdere uitgangen geheugen delen voor een gemeenschappelijke prompt?
- Verschillende reeksen verwijzen naar dezelfde fysieke pagina's via copy-on-write
- Het verwijdert de prompt na het eerste gebruik
- Het slaat de prompt op schijf op
- Het hertraint het model voor elke uitvoer
- Waar zijn vLLM en PagedAttention oorspronkelijk ontwikkeld?
- Een academisch laboratorium uit de jaren negentig
- UC Berkeley (gepubliceerd 2023)
- Het marketingteam van een hardwareleverancier
- Een anoniem onlineforum
- Wat is het belangrijkste praktische voordeel van vLLM voor iemand die een LLM vervult?
- Grotere modelnauwkeurigheid op benchmarks
- Automatische gegevenslabeling
- Gratis GPU-hardware
- Hogere doorvoer en meer gelijktijdige verzoeken per GPU
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence