Quiz lié à un guide · Moyen Niveau

Quiz sur le cache KV

Examinez la réutilisation du cache KV pendant le décodage autorégressif, la pression de la mémoire, le partage multi-requêtes et les compromis d'allocation paginée.

Chemins de guidage associésCache Kv
Question 1 de 8

Que stocke le cache KV ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que stocke le cache KV ?
    • Les vecteurs de clé et de valeur calculés pour les jetons précédents
    • Les matrices de poids complets du modèle
    • L'historique des discussions de l'utilisateur sous forme de texte brut
    • Les probabilités de sortie finales
  2. Quel problème le cache KV résout-il principalement ?
    • Il améliore la grammaire du texte généré
    • Cela évite de recalculer les clés et les valeurs de tous les jetons précédents à chaque étape
    • Cela augmente le vocabulaire du modèle
    • Il crypte la conversation
  3. Quel est le principal inconvénient du cache KV ?
    • Cela ralentit la génération
    • Cela réduit la qualité de sortie
    • Son utilisation de la mémoire augmente linéairement avec la longueur du contexte
    • Cela ne fonctionne que sur les processeurs
  4. Quelle technique réduit la taille du cache KV en partageant des clés et des valeurs entre les têtes d'attention ?
    • Abandon
    • Recherche de faisceau
    • Tokenisation
    • Attention aux requêtes groupées ou multi-requêtes
  5. Quelles sont les deux phases d'inférence du transformateur par rapport au cache KV ?
    • Préremplir (traiter l'invite) et décoder (générer un jeton à la fois)
    • Formation et tests
    • Encoder et compresser
    • Télécharger et télécharger
  6. Que fait PagedAttention de vLLM pour le cache KV ?
    • Supprime le cache après chaque jeton
    • Alloue le cache en blocs non contigus pour réduire la fragmentation de la mémoire
    • Convertit le cache en texte
    • Double le nombre de paramètres du modèle
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use