Kuis terkait panduan · Sedang Tingkat

Manajemen Memori GPU dan Kuis Fragmentasi

Uji alokasi GPU versus memori yang dicadangkan, penggunaan kembali pengalokasi, dan diagnosis fragmentasi, termasuk batas dari cache_kosong dan segmen yang dapat diperluas.

Jalur panduan terkaitManajemen dan Fragmentasi Memori GPU
Pertanyaan 1 dari 8

Apa itu fragmentasi memori GPU?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa itu fragmentasi memori GPU?
    • Ketika GPU secara fisik rusak
    • Ketika model memiliki terlalu banyak lapisan
    • Ketika dua GPU tidak setuju pada suatu hasil
    • Ketika memori bebas dipecah menjadi beberapa bagian yang tersebar terlalu kecil untuk memenuhi permintaan besar yang berdekatan
  2. Mengapa kerangka kerja seperti PyTorch menggunakan pengalokasi memori caching?
    • Untuk membuat model lebih akurat
    • Untuk menghindari alokasi driver langsung yang lambat/panggilan gratis dengan menggunakan kembali blok memori yang dikumpulkan
    • Untuk mengenkripsi bobot
    • Untuk mengurangi jumlah GPU yang dibutuhkan menjadi satu
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Apa yang dikelola PagedAttention vLLM untuk mengurangi pemborosan memori selama inferensi?
    • Data pelatihan model
    • Cache nilai kunci perhatian (KV), menggunakan halaman berukuran tetap
    • Kecepatan jam GPU
    • Ukuran font log
  6. Teknik manakah yang mengurangi memori aktivasi untuk membantu menghindari kesalahan kehabisan memori?
    • Menambahkan lebih banyak lapisan
    • Menggunakan pemanasan kecepatan pembelajaran yang lebih lama
    • Pos pemeriksaan gradien (perhitungan ulang)
    • Menyimpan lebih banyak pos pemeriksaan ke disk
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors