Quiz sur l'optimisation du cache KV

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que stocke le cache KV et pourquoi ?
   • Clés et valeurs d'attention précédemment calculées afin qu'elles ne soient pas recalculées à chaque étape
   • Les données d'entraînement du modèle pour le recyclage
   • Mots de passe utilisateur pour l'authentification
   • La sortie de texte finale uniquement
2. Pourquoi le cache KV peut-il devenir un problème de mémoire ?
   • Cela corrompt le GPU de façon permanente
   • Il grandit avec la longueur de la séquence, la taille du lot et les couches, dépassant parfois les poids du modèle
   • Cela ne fonctionne que sur des textes de moins de 10 mots
   • Il duplique le système d'exploitation
3. Quel concept de système d’exploitation PagedAttention emprunte-t-il ?
   • Utilitaires de défragmentation de disque
   • Analyse antivirus
   • Pagination de la mémoire virtuelle avec des blocs de taille fixe
   • Mise à l'échelle de la résolution de l'écran
4. Comment les requêtes groupées et l'attention multi-requêtes réduisent-elles la taille du cache KV ?
   • En supprimant le mécanisme d'attention
   • En stockant le cache sous forme d'images
   • En s'entraînant sur moins de données
   • En permettant à de nombreuses têtes de requête de partager moins de têtes clé/valeur
5. Quel est l’un des avantages du partage de préfixes dans le cache KV ?
   • Les requêtes avec la même invite de démarrage peuvent réutiliser les mêmes blocs mis en cache
   • Il crypte le modèle
   • Cela ralentit également chaque demande
   • Cela supprime le besoin d’attention
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible