Rehber bağlantılı sınav · Orta Seviye

GPU Bellek Yönetimi ve Parçalanma Sınavı

Boş önbellek ve genişletilebilir segmentlerin sınırları da dahil olmak üzere, tahsis edilen GPU ile ayrılmış belleği, ayırıcının yeniden kullanımını ve parçalanma teşhisini test edin.

İlgili kılavuz yollarıGPU Bellek Yönetimi ve Parçalanma
Soru 1 arasında 8

GPU bellek parçalanması nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. GPU bellek parçalanması nedir?
    • GPU fiziksel olarak parçalandığında
    • Modelde çok fazla katman olduğunda
    • İki GPU bir sonuç üzerinde anlaşamadığında
    • Boş hafıza, büyük bir bitişik isteği karşılayamayacak kadar küçük dağınık parçalara bölündüğünde
  2. PyTorch gibi çerçeveler neden önbelleğe alma bellek ayırıcısı kullanıyor?
    • Modeli daha doğru hale getirmek için
    • Havuzlanmış bellek bloklarını yeniden kullanarak yavaş doğrudan sürücü tahsisini/ücretsiz aramaları önlemek için
    • Ağırlıkları şifrelemek için
    • Gereken GPU sayısını bire düşürmek için
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. vLLM'nin PagedAttention'ı çıkarım sırasında bellek israfını azaltmak için neyi başarıyor?
    • Modelin eğitim verileri
    • Sabit boyutlu sayfalar kullanan dikkat anahtar/değer (KV) önbelleği
    • GPU'nun saat hızı
    • Günlüklerin yazı tipi boyutu
  6. Hangi teknik, yetersiz bellek hatalarını önlemeye yardımcı olmak için etkinleştirme belleğini azaltır?
    • Daha fazla katman ekleme
    • Daha uzun bir öğrenme oranı ısınması kullanma
    • Gradyan kontrol noktası belirleme (yeniden hesaplama)
    • Diske daha fazla kontrol noktası kaydediliyor
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors