মিশ্র যথার্থ প্রশিক্ষণ কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
   • 16-বিট বৃত্তাকার হতে পারে এমন ক্ষুদ্র ওজনের আপডেটগুলিতে নির্ভুলতা সংরক্ষণ করতে
   • মডেল ফাইল ডিস্কে ছোট করতে
   • একটি GPU ছাড়া প্রশিক্ষণের অনুমতি দিতে
   • মডেল প্যারামিটার এনক্রিপ্ট করতে
2. FP16 প্রশিক্ষণে ক্ষতি স্কেলিং কোন সমস্যা সমাধান করে?
   • মডেল তথ্য overfitting
   • FP16-এর পরিসর সংকীর্ণ হওয়ার কারণে গ্রেডিয়েন্ট শূন্যের দিকে যাচ্ছে
   • GPU গুলির ডিস্কের জায়গা ফুরিয়ে যাচ্ছে৷
   • ডিস্ক থেকে ধীর গতিতে ডেটা লোড হচ্ছে
3. FP16 এর উপর bfloat16 এর কি সুবিধা আছে?
   • এটি কম মোট বিট ব্যবহার করে
   • এটি সংখ্যার পরিবর্তে পাঠ্য সংরক্ষণ করে
   • এটির FP32 এর মতো একই বিস্তৃত সূচক পরিসীমা রয়েছে, যা ক্ষতি স্কেলিং এর প্রয়োজনীয়তা হ্রাস করে
   • এটি শুধুমাত্র CPU-তে চলে
4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
   • In integer arithmetic with no rounding
   • In text before converting to FP16
   • In FP16 only, which prevents every numerical error
   • In FP32, which reduces rounding error compared with low-precision accumulation
5. What is a common benefit of using 16-bit values for supported training operations?
   • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
   • They guarantee higher model accuracy
   • They remove the need to compute gradients
   • They always double end-to-end training speed
6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
   • torch.cuda.amp only, which is the recommended new namespace
   • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
   • torch.load and torch.save
   • torch.nn.DataParallel and torch.manual_seed
7. Why does bfloat16 often need less loss scaling than FP16?
   • It has more mantissa bits than FP32
   • It stores gradients as integers
   • It has an exponent range like FP32, so very small gradients are less likely to underflow
   • It never rounds values
8. What does autocast do in automatic mixed precision?
   • Converts every tensor and operation to FP16 unconditionally
   • Replaces the optimizer with a different algorithm
   • Guarantees identical bitwise results to FP32
   • Selects operation dtypes so supported operations can use lower precision while others retain safer precision