Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor KV-cache-optimalisatie

Controleert KV-cache-groei, pagetoewijzing, grouped query sharing, hergebruikvoorwaarden van voorvoegsels, kwantisering en geheugenschaling bij context en gelijktijdigheid.

Gerelateerde gidspadenKv-cache-optimalisatie
Vraag 1 van 8

Wat slaat de KV-cache op en waarom?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat slaat de KV-cache op en waarom?
    • Eerder berekende aandachtssleutels en -waarden, zodat ze niet bij elke stap opnieuw worden berekend
    • De trainingsgegevens van het model voor herscholing
    • Gebruikerswachtwoorden voor authenticatie
    • Alleen de uiteindelijke tekstuitvoer
  2. Waarom kan de KV-cache een geheugenprobleem worden?
    • Het corrumpeert de GPU permanent
    • Het groeit met de reekslengte, batchgrootte en lagen, en overschrijdt soms de modelgewichten
    • Het werkt alleen bij tekst korter dan 10 woorden
    • Het dupliceert het besturingssysteem
  3. Welk besturingssysteemconcept leent PagedAttention?
    • Hulpprogramma's voor schijfdefragmentatie
    • Antivirusscannen
    • Virtueel geheugen paging met blokken van vaste grootte
    • Schalen van de schermresolutie
  4. Hoe verminderen Grouped-Query en Multi-Query Attention de grootte van de KV-cache?
    • Door het aandachtsmechanisme te verwijderen
    • Door de cache op te slaan als afbeeldingen
    • Door te trainen met minder data
    • Door veel querykoppen minder sleutel-/waardekoppen te laten delen
  5. Wat is een voordeel van het delen van voorvoegsels in de KV-cache?
    • Verzoeken met dezelfde startprompt kunnen dezelfde in de cache opgeslagen blokken hergebruiken
    • Het codeert het model
    • Het vertraagt elk verzoek evenveel
    • Het neemt de behoefte aan aandacht weg
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible