Quiz lié à un guide · Difficile Niveau

PagedAttention et vLLM Quiz

Testez les blocs PagedAttention KV, le mappage logique-physique et le partage, y compris la distinction entre les économies de mémoire cache et le stockage total du modèle.

Chemins de guidage associésPagedattention et Vllm
Question 1 de 8

Que stocke le « cache KV » lors de la génération de texte ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que stocke le « cache KV » lors de la génération de texte ?
    • Les données d'entraînement du modèle
    • Les identifiants de connexion de l'utilisateur
    • Les vecteurs de clé et de valeur des jetons passés afin que les nouveaux jetons puissent s'en occuper
    • Une copie compressée des poids du modèle
  2. Quel concept de système d’exploitation a inspiré PagedAttention ?
    • Outils de défragmentation de disque
    • Pagination de la mémoire virtuelle
    • Compression de fichiers
    • Prédiction de branche CPU
  3. Quel problème avec l'allocation de cache KV traditionnelle PagedAttention résout-il ?
    • Connexions Internet lentes
    • Manque de données de formation
    • Faible sécurité des mots de passe
    • Gaspillage de mémoire dû à la réservation de grands blocs contigus pour chaque requête
  4. Comment PagedAttention permet-il à plusieurs sorties de partager la mémoire pour une invite commune ?
    • Différentes séquences pointent vers les mêmes pages physiques via la copie sur écriture
    • Il supprime l'invite après la première utilisation
    • Il stocke l'invite sur le disque
    • Il recycle le modèle pour chaque sortie
  5. Où vLLM et PagedAttention ont-ils été initialement développés ?
    • Un laboratoire universitaire des années 1990
    • UC Berkeley (publié en 2023)
    • L'équipe marketing d'un fournisseur de matériel
    • Un forum en ligne anonyme
  6. Quel est le principal avantage pratique du vLLM pour une personne effectuant un LLM ?
    • Plus grande précision du modèle sur les benchmarks
    • Étiquetage automatique des données
    • Matériel GPU gratuit
    • Débit plus élevé et davantage de requêtes simultanées par GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence