Kuiz berkaitan panduan · Sederhana Tahap

Pengurusan Memori GPU dan Kuiz Pecahan

Uji GPU yang diperuntukkan berbanding memori tersimpan, penggunaan semula pengalokasi dan diagnosis pemecahan, termasuk had kosong_cache dan segmen boleh dikembangkan.

Laluan panduan yang berkaitanPengurusan dan Pemecahan Memori GPU
soalan 1 daripada 8

Apakah pemecahan memori GPU?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah pemecahan memori GPU?
    • Apabila GPU rosak secara fizikal
    • Apabila model mempunyai terlalu banyak lapisan
    • Apabila dua GPU tidak bersetuju dengan keputusan
    • Apabila memori bebas dibahagikan kepada ketulan bertaburan terlalu kecil untuk memenuhi permintaan bersebelahan yang besar
  2. Mengapakah rangka kerja seperti PyTorch menggunakan pengalokasi memori caching?
    • Untuk menjadikan model lebih tepat
    • Untuk mengelakkan peruntukan pemandu langsung yang perlahan/panggilan percuma dengan menggunakan semula blok memori terkumpul
    • Untuk menyulitkan pemberat
    • Untuk mengurangkan bilangan GPU yang diperlukan kepada satu
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Apakah yang diuruskan oleh PagedAttention vLLM untuk mengurangkan sisa ingatan semasa inferens?
    • Data latihan model
    • Cache nilai kunci perhatian (KV), menggunakan halaman bersaiz tetap
    • Kelajuan jam GPU
    • Saiz fon log
  6. Teknik yang manakah mengurangkan ingatan pengaktifan untuk membantu mengelakkan ralat di luar ingatan?
    • Menambah lebih banyak lapisan
    • Menggunakan pemanasan kadar pembelajaran yang lebih lama
    • Titik semak kecerunan (pengiraan semula)
    • Menyimpan lebih banyak pusat pemeriksaan ke cakera
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors