Κουίζ διαχείρισης μνήμης GPU και κατακερματισμού

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι είναι ο κατακερματισμός της μνήμης GPU;
   • Όταν η GPU διασπάται φυσικά
   • Όταν το μοντέλο έχει πάρα πολλά επίπεδα
   • Όταν δύο GPU διαφωνούν σε ένα αποτέλεσμα
   • Όταν η ελεύθερη μνήμη χωρίζεται σε διάσπαρτα κομμάτια πολύ μικρά για να ικανοποιηθεί ένα μεγάλο συνεχόμενο αίτημα
2. Γιατί πλαίσια όπως το PyTorch χρησιμοποιούν έναν εκχωρητή μνήμης προσωρινής αποθήκευσης;
   • Για να γίνει το μοντέλο πιο ακριβές
   • Για να αποφύγετε την αργή άμεση κατανομή προγραμμάτων οδήγησης/δωρεάν κλήσεις, επαναχρησιμοποιώντας μπλοκ ομαδοποιημένης μνήμης
   • Για κρυπτογράφηση των βαρών
   • Για να μειώσετε τον αριθμό των GPU που απαιτούνται σε μία
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. Τι καταφέρνει το PagedAttention του vLLM να μειώσει τη σπατάλη μνήμης κατά την εξαγωγή συμπερασμάτων;
   • Τα δεδομένα εκπαίδευσης του μοντέλου
   • Η κρυφή μνήμη κλειδιού-τιμής προσοχής (KV), χρησιμοποιώντας σελίδες σταθερού μεγέθους
   • Ταχύτητα ρολογιού της GPU
   • Το μέγεθος γραμματοσειράς των αρχείων καταγραφής
6. Ποια τεχνική μειώνει τη μνήμη ενεργοποίησης για την αποφυγή σφαλμάτων εκτός μνήμης;
   • Προσθήκη περισσότερων επιπέδων
   • Χρήση μεγαλύτερης προθέρμανσης με ρυθμό εκμάθησης
   • Σημείο ελέγχου κλίσης (επανυπολογισμός)
   • Αποθήκευση περισσότερων σημείων ελέγχου στο δίσκο
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors