گائیڈ سے منسلک کوئز · درمیانہ سطح

مخلوط صحت سے متعلق تربیتی کوئز

FP16 رینج اور نقصان کی پیمائش، bfloat16، ماسٹر وزن، آٹو کاسٹ، ٹینسر کور جمع، اور پیمائش شدہ ہارڈ ویئر پر منحصر فوائد کا احاطہ کرتا ہے۔

متعلقہ گائیڈ کے راستےمخلوط صحت سے متعلق تربیت
سوال 1 کی 8

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
    • چھوٹے وزن کی تازہ کاریوں میں درستگی کو محفوظ رکھنے کے لیے جو 16 بٹ دور ہو سکتے ہیں۔
    • ماڈل فائل کو ڈسک پر چھوٹا بنانے کے لیے
    • GPU کے بغیر تربیت کی اجازت دینا
    • ماڈل پیرامیٹرز کو خفیہ کرنے کے لیے
  2. FP16 ٹریننگ میں نقصان کا پیمانہ کس مسئلہ کو حل کرتا ہے؟
    • ڈیٹا کو اوور فٹ کرنے والے ماڈل
    • گریڈیئنٹس زیرو پر آ رہے ہیں کیونکہ FP16 کی حد تنگ ہے۔
    • GPUs میں ڈسک کی جگہ ختم ہو رہی ہے۔
    • ڈسک سے سست ڈیٹا لوڈنگ
  3. Bfloat16 کا FP16 پر کیا فائدہ ہے؟
    • یہ کم کل بٹس استعمال کرتا ہے۔
    • یہ نمبروں کے بجائے ٹیکسٹ اسٹور کرتا ہے۔
    • اس میں FP32 جیسی وسیع ایکسپونٹ رینج ہے، جس سے نقصان کی پیمائش کی ضرورت کم ہوتی ہے۔
    • یہ صرف CPUs پر چلتا ہے۔
  4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
    • In integer arithmetic with no rounding
    • In text before converting to FP16
    • In FP16 only, which prevents every numerical error
    • In FP32, which reduces rounding error compared with low-precision accumulation
  5. What is a common benefit of using 16-bit values for supported training operations?
    • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
    • They guarantee higher model accuracy
    • They remove the need to compute gradients
    • They always double end-to-end training speed
  6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
    • torch.cuda.amp only, which is the recommended new namespace
    • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
    • torch.load and torch.save
    • torch.nn.DataParallel and torch.manual_seed
  7. Why does bfloat16 often need less loss scaling than FP16?
    • It has more mantissa bits than FP32
    • It stores gradients as integers
    • It has an exponent range like FP32, so very small gradients are less likely to underflow
    • It never rounds values
  8. What does autocast do in automatic mixed precision?
    • Converts every tensor and operation to FP16 unconditionally
    • Replaces the optimizer with a different algorithm
    • Guarantees identical bitwise results to FP32
    • Selects operation dtypes so supported operations can use lower precision while others retain safer precision