Тест за управление на паметта на GPU и фрагментиране

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво представлява фрагментацията на GPU паметта?
   • Когато графичният процесор се разпадне физически
   • Когато моделът има твърде много слоеве
   • Когато два графични процесора не са съгласни за резултат
   • Когато свободната памет е разделена на разпръснати парчета, твърде малки, за да задоволят голяма непрекъсната заявка
2. Защо рамки като PyTorch използват разпределител на кешираща памет?
   • За да направите модела по-точен
   • За да избегнете бавно директно разпределение на драйвери/безплатни повиквания чрез повторно използване на обединени блокове памет
   • За да шифровате теглата
   • За да намалите броя на необходимите графични процесори до един
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. Какво успява PagedAttention на vLLM, за да намали загубата на памет по време на извод?
   • Данни за обучение на модела
   • Кешът за внимание ключ-стойност (KV), използвайки страници с фиксиран размер
   • Тактовата честота на GPU
   • Размерът на шрифта на регистрационните файлове
6. Коя техника намалява паметта за активиране, за да помогне за избягване на грешки при липса на памет?
   • Добавяне на още слоеве
   • Използване на по-дълго загряване със скорост на обучение
   • Градиентна контролна точка (преизчисляване)
   • Запазване на повече контролни точки на диск
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors