GPU মেমরি ম্যানেজমেন্ট এবং ফ্র্যাগমেন্টেশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. GPU মেমরি ফ্র্যাগমেন্টেশন কি?
   • যখন GPU শারীরিকভাবে আলাদা হয়ে যায়
   • যখন মডেলটিতে অনেকগুলি স্তর থাকে
   • যখন দুটি জিপিইউ একটি ফলাফলে একমত হয় না
   • যখন মুক্ত মেমরি বিক্ষিপ্ত অংশে বিভক্ত হয় তখন একটি বড় সংলগ্ন অনুরোধ পূরণ করতে খুব ছোট
2. কেন PyTorch মত ফ্রেমওয়ার্ক একটি ক্যাশিং মেমরি বরাদ্দকারী ব্যবহার করে?
   • মডেল আরো সঠিক করতে
   • পুল করা মেমরি ব্লক পুনরায় ব্যবহার করে ধীর গতির সরাসরি ড্রাইভার বরাদ্দ/ফ্রি কল এড়াতে
   • ওজন এনক্রিপ্ট করতে
   • একটি প্রয়োজন GPU সংখ্যা কমাতে
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. VLLM-এর PagedAttention অনুমানের সময় মেমরির অপচয় কমাতে কী পরিচালনা করে?
   • মডেলের প্রশিক্ষণ ডেটা
   • মনোযোগ কী-মান (KV) ক্যাশে, নির্দিষ্ট-আকারের পৃষ্ঠাগুলি ব্যবহার করে
   • GPU এর ঘড়ির গতি
   • লগের ফন্ট সাইজ
6. কোন কৌশলটি মেমরির বাইরের ত্রুটিগুলি এড়াতে সাহায্য করার জন্য অ্যাক্টিভেশন মেমরি হ্রাস করে?
   • আরও স্তর যোগ করা হচ্ছে
   • একটি দীর্ঘ শেখার হার ওয়ার্মআপ ব্যবহার করে
   • গ্রেডিয়েন্ট চেকপয়েন্টিং (পুনঃগণনা)
   • ডিস্কে আরও চেকপয়েন্ট সংরক্ষণ করা হচ্ছে
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors