গ্রেডিয়েন্ট চেকপয়েন্টিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. মেমরি সংরক্ষণ করার জন্য গ্রেডিয়েন্ট চেকপয়েন্টিং প্রাথমিকভাবে কি ব্যবসা করে?
   • কম মেমরি ব্যবহারের জন্য অতিরিক্ত গণনা (পুনঃগণনা)
   • গতির জন্য মডেল নির্ভুলতা
   • নেটওয়ার্ক ব্যান্ডউইথের জন্য ডিস্কের স্থান
   • ব্যাচ আকার জন্য নির্ভুলতা
2. কেন অ্যাক্টিভেশনগুলি সাধারণত ফরওয়ার্ড পাসের সময় সংরক্ষণ করা হয়?
   • ব্যবহারকারীদের কাছে তাদের প্রদর্শন করতে
   • কারণ ব্যাকপ্রোপগেশন গ্রেডিয়েন্ট গণনা করার জন্য তাদের প্রয়োজন
   • ডাটা লোডিং গতি বাড়ানোর জন্য
   • তারা আসলে প্রয়োজন হয় না
3. In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
   • It stores no activations and performs no recomputation
   • It guarantees constant memory for every model graph
   • Activation storage can scale on the order of sqrt(N) checkpoints
   • It makes optimizer-state memory scale as sqrt(N)
4. What most determines gradient-checkpointing runtime overhead in a practical model?
   • Only the model’s file extension
   • A fixed 20–30% slowdown for every model
   • The number of labels in the dataset
   • Which operations are recomputed, checkpoint placement, graph structure, and hardware
5. PyTorch-এ, কোন ইউটিলিটি সাধারণত একটি মডিউলে গ্রেডিয়েন্ট চেকপয়েন্টিং প্রয়োগ করতে ব্যবহৃত হয়?
   • torch.utils.checkpoint
   • torch.optim.SGD
   • torch.nn.ড্রপআউট
   • torch.cuda.empty_cache
6. What happens to operations inside a checkpointed region during backward?
   • Their gradients are skipped entirely
   • Their forward computations are rerun to regenerate needed activations
   • Their weights are permanently discarded
   • They are executed only during inference
7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
   • Only increasing the number of labels
   • Turning off backpropagation
   • FSDP for sharded model state and mixed precision for lower-precision tensors
   • Replacing the model with a tokenizer
8. What is selective activation checkpointing intended to choose?
   • Which training labels are removed
   • Which model outputs are published
   • Which GPU becomes the tokenizer
   • Which operations to save and which to recompute based on their memory and runtime costs