Quiz lié à un guide · Moyen Niveau

Quiz sur la gestion et la fragmentation de la mémoire GPU

Testez le GPU alloué par rapport à la mémoire réservée, la réutilisation des allocateurs et le diagnostic de fragmentation, y compris les limites du cache vide et des segments extensibles.

Chemins de guidage associésGestion et fragmentation de la mémoire GPU
Question 1 de 8

Qu’est-ce que la fragmentation de la mémoire GPU ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu’est-ce que la fragmentation de la mémoire GPU ?
    • Quand le GPU se brise physiquement
    • Lorsque le modèle comporte trop de calques
    • Quand deux GPU ne sont pas d'accord sur un résultat
    • Lorsque la mémoire libre est divisée en morceaux dispersés, trop petits pour satisfaire une grande demande contiguë
  2. Pourquoi les frameworks comme PyTorch utilisent-ils un allocateur de mémoire en cache ?
    • Pour rendre le modèle plus précis
    • Pour éviter l'allocation directe lente des pilotes/les appels gratuits en réutilisant les blocs de mémoire mis en pool
    • Pour chiffrer les poids
    • Pour réduire le nombre de GPU nécessaires à un
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Qu'est-ce que PagedAttention de vLLM parvient à réduire le gaspillage de mémoire lors de l'inférence ?
    • Les données d'entraînement du modèle
    • Le cache valeur-clé d'attention (KV), utilisant des pages de taille fixe
    • La vitesse d'horloge du GPU
    • La taille de la police des journaux
  6. Quelle technique réduit la mémoire d’activation pour éviter les erreurs de mémoire insuffisante ?
    • Ajouter plus de couches
    • Utiliser un échauffement à taux d'apprentissage plus long
    • Points de contrôle de dégradé (recalcul)
    • Enregistrer plus de points de contrôle sur le disque
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors