ایکٹیویشن ری کمپیوٹیشن ٹریڈ آفس کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. یادداشت کو بچانے کے لیے ایکٹیویشن ری کمپیوٹیشن کیا تجارت کرتا ہے؟
   • ماڈل کی درستگی
   • ایکسٹرا کمپیوٹ (FLOPs)
   • نیٹ ورک بینڈوتھ
   • عددی درستگی
2. فارورڈ پاس ایکٹیویشنز کو عام طور پر کیوں ذخیرہ کیا جاتا ہے؟
   • انہیں صارف کو دکھانے کے لیے
   • ماڈل کو کمپریس کرنے کے لیے
   • وہ ٹوکنائزیشن کے لیے درکار ہیں۔
   • کیونکہ بیک پروپیگیشن کو گریڈینٹ کی گنتی کرنے کی ضرورت ہے۔
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. منتخب (مکمل نہیں) دوبارہ گنتی کے پیچھے کیا خیال ہے؟
   • ہر آپریشن کی دو بار دوبارہ گنتی کریں۔
   • کبھی بھی کسی چیز کی دوبارہ گنتی نہ کریں۔
   • صرف سرایت کرنے والی پرت کی دوبارہ گنتی کریں۔
   • دوبارہ گنتی کریں صرف میموری والے بھاری لیکن کمپیوٹ کے سستے آپریشنز، کیش مہنگے والے
6. مزید میموری کو بچانے کے لیے کون سی تکمیلی تکنیک کو اکثر دوبارہ گنتی کے ساتھ ملایا جاتا ہے؟
   • بیچ کا سائز بڑھانا
   • CPU یا NVMe پر ایکٹیویشن آف لوڈ کرنا
   • تمام نارملائزیشن پرتوں کو ہٹانا
   • انفرنس موڈ پر سوئچ ہو رہا ہے۔
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer