Вікторина, пов’язана з посібником · Середній Рівень

Контроль пам'яті GPU та фрагментація

Перевірте розподіл виділеної та зарезервованої пам’яті графічного процесора, повторне використання розподільника та діагностику фрагментації, включаючи обмеження порожнього кешу та розширюваних сегментів.

Пов'язані напрямні шляхиУправління пам'яттю GPU та фрагментація
Питання 1 з 8

Що таке фрагментація пам'яті GPU?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що таке фрагментація пам'яті GPU?
    • Коли GPU фізично розпадається
    • Коли модель має забагато шарів
    • Коли два GPU розходяться в результатах
    • Коли вільна пам'ять розділена на розкидані фрагменти, занадто малі, щоб задовольнити великий безперервний запит
  2. Чому такі фреймворки, як PyTorch, використовують кешуючий розподільник пам’яті?
    • Щоб зробити модель точнішою
    • Щоб уникнути повільного прямого виділення драйверів/безкоштовних викликів шляхом повторного використання об’єднаних блоків пам’яті
    • Для шифрування ваг
    • Щоб зменшити кількість графічних процесорів до одного
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Що вдається PagedAttention vLLM для зменшення втрати пам’яті під час логічного висновку?
    • Навчальні дані моделі
    • Кеш ключ-значення уваги (KV) із використанням сторінок фіксованого розміру
    • Тактова частота графічного процесора
    • Розмір шрифту журналів
  6. Який метод зменшує пам’ять активації, щоб уникнути помилок браку пам’яті?
    • Додавання більше шарів
    • Використання тривалої розминки з темпом навчання
    • Контрольні точки градієнта (повторне обчислення)
    • Збереження додаткових контрольних точок на диск
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors