সক্রিয়করণ পুনর্গণনা ট্রেডঅফ কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. অ্যাক্টিভেশন পুনঃগণনা মেমরি সংরক্ষণের জন্য কি ব্যবসা করে?
   • মডেল নির্ভুলতা
   • অতিরিক্ত গণনা (FLOPs)
   • নেটওয়ার্ক ব্যান্ডউইথ
   • সংখ্যাগত নির্ভুলতা
2. কেন ফরোয়ার্ড-পাস অ্যাক্টিভেশনগুলি সাধারণত সংরক্ষণ করা হয়?
   • ব্যবহারকারীদের কাছে তাদের প্রদর্শন করতে
   • মডেল কম্প্রেস করতে
   • তারা টোকেনাইজেশন জন্য প্রয়োজন
   • কারণ ব্যাকপ্রোপগেশন গ্রেডিয়েন্ট গণনা করার জন্য তাদের প্রয়োজন
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. নির্বাচনী (পূর্ণ নয়) পুনর্গণনার পিছনে ধারণা কি?
   • প্রতিটি অপারেশন দুবার পুনরায় গণনা করুন
   • কোন কিছুর পুনঃগণনা করবেন না
   • শুধুমাত্র এম্বেডিং স্তর পুনরায় গণনা করুন
   • শুধুমাত্র মেমরি-ভারী কিন্তু কম্পিউট-সস্তা অপ্স, ক্যাশে ব্যয়বহুলগুলি পুনরায় গণনা করুন
6. কোন পরিপূরক কৌশলটি প্রায়ই আরও বেশি মেমরি সংরক্ষণের জন্য পুনর্গণনার সাথে মিলিত হয়?
   • ব্যাচ আকার বৃদ্ধি
   • CPU বা NVMe তে সক্রিয়করণ অফলোড করা হচ্ছে
   • সমস্ত স্বাভাবিককরণ স্তর অপসারণ
   • অনুমান মোডে স্যুইচ করা হচ্ছে
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer