সিপিইউ এবং এনভিএমই কুইজে অপ্টিমাইজার স্টেট অফলোডিং

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. CPU বা NVMe-তে অপ্টিমাইজার স্টেট অফলোড করার প্রাথমিক লক্ষ্য কী?
   • মডেল আরো সঠিক করতে
   • প্রশিক্ষণ যুগের সংখ্যা কমাতে প্রয়োজন
   • গ্রেডিয়েন্টের প্রয়োজনীয়তা সম্পূর্ণভাবে দূর করতে
   • দুষ্প্রাপ্য GPU মেমরি মুক্ত করে বড় মডেলের সাথে ফিট করা
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. কোন ফ্রেমওয়ার্ক বৈশিষ্ট্যটি বড় আকারের অপ্টিমাইজার অফলোডিংকে জনপ্রিয় করেছে?
   • একটি নতুন অ্যাক্টিভেশন ফাংশন
   • JPEG ইমেজ কম্প্রেশন
   • ডিপস্পীড জিরো-অফলোড এবং জিরো-ইনফিনিটি
   • গ্রেডিয়েন্ট ক্লিপিং
4. CPU বা NVMe তে অফলোড করার প্রধান কর্মক্ষমতা খরচ কি?
   • PCIe বা ডিস্কের মতো ধীরগতির লিঙ্কের উপর দিয়ে ডেটা যেতে হবে, বিলম্ব যোগ করে
   • মডেল আগের প্রশিক্ষণ ভুলে যায়
   • অপ্টিমাইজার গাণিতিকভাবে ভুল হয়ে যায়
   • GPU তাপমাত্রা খুব কম নেমে গেছে
5. অফলোডিং সিস্টেমগুলি কীভাবে ট্রান্সফার লেটেন্সির বেশিরভাগ লুকিয়ে রাখে?
   • ব্যাকওয়ার্ড পাস স্কিপ করে
   • চলমান GPU গণনার সাথে ডেটা প্রিফেচিং ওভারল্যাপ করে
   • একটি সময়ে শুধুমাত্র একটি পরামিতি প্রশিক্ষণ দ্বারা
   • মিশ্র নির্ভুলতা নিষ্ক্রিয় করে
6. জিরো-অফলোডে, অ্যাডাম অপ্টিমাইজার পদক্ষেপটি প্রায়শই কার্যকর করে কোথায়?
   • সম্পূর্ণরূপে NVMe কন্ট্রোলারে
   • একটি পৃথক ডিসপ্লে জিপিইউতে
   • সিপিইউতে, মাস্টার ওয়েট এবং সেখানে সঞ্চিত মুহূর্ত ব্যবহার করে
   • নেটওয়ার্ক সুইচ ভিতরে
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time