Quiz dotyczący zarządzania pamięcią GPU i fragmentacji

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co to jest fragmentacja pamięci GPU?
   • Kiedy procesor graficzny fizycznie się rozpada
   • Gdy model ma za dużo warstw
   • Kiedy dwa procesory graficzne nie zgadzają się co do wyniku
   • Gdy wolna pamięć jest podzielona na rozproszone fragmenty, które są zbyt małe, aby obsłużyć duże, ciągłe żądanie
2. Dlaczego frameworki takie jak PyTorch korzystają z alokatora pamięci podręcznej?
   • Aby model był dokładniejszy
   • Aby uniknąć powolnego bezpośredniego przydzielania sterowników/bezpłatnych połączeń poprzez ponowne wykorzystanie połączonych bloków pamięci
   • Aby zaszyfrować wagi
   • Aby zmniejszyć liczbę potrzebnych procesorów graficznych do jednego
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. W jaki sposób PagedAttention vLLM pozwala zmniejszyć straty pamięci podczas wnioskowania?
   • Dane szkoleniowe modelu
   • Pamięć podręczna klucz-wartość uwagi (KV) wykorzystująca strony o stałym rozmiarze
   • Częstotliwość zegara GPU
   • Rozmiar czcionki logów
6. Która technika zmniejsza pamięć aktywacyjną, aby uniknąć błędów związanych z brakiem pamięci?
   • Dodanie kolejnych warstw
   • Stosowanie dłuższej rozgrzewki polegającej na nauce
   • Gradientowy punkt kontrolny (ponowne obliczenie)
   • Zapisywanie kolejnych punktów kontrolnych na dysku
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors