মডেল এবং পাইপলাইন সমান্তরাল কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. মডেল এবং পাইপলাইন সমান্তরালতা কোন মৌলিক সমস্যা সমাধান করে?
   • একটি মডেল একটি একক GPU এর মেমরিতে ফিট করার জন্য খুব বড়
   • ডিস্ক থেকে ধীর গতিতে ডেটা লোড হচ্ছে
   • প্রশিক্ষণের সময় গ্রেডিয়েন্ট বিস্ফোরিত হচ্ছে
   • খুব কম প্রশিক্ষণের উদাহরণ উপলব্ধ
2. কিভাবে টেনসর (ইন্ট্রা-লেয়ার) সমান্তরালতা বিভক্ত কাজ করে?
   • এটি বিভিন্ন জিপিইউতে সম্পূর্ণ স্তর বরাদ্দ করে
   • এটি একটি স্তরের ভিতরে গণিতকে বিভক্ত করে, যেমন একটি ম্যাট্রিক্স গুন, GPU জুড়ে
   • এটি প্রতিটি GPU-তে প্রতিটি স্তরকে নকল করে
   • এটি অপ্রয়োজনীয়তার জন্য প্রতিটি স্তর দুবার চালায়
3. নিষ্পাপ পাইপলাইন সমান্তরালে 'বুদবুদ' কি?
   • একটি মেমরি লিক যা সময়ের সাথে বৃদ্ধি পায়
   • অপ্টিমাইজার অবস্থার একটি ডুপ্লিকেট কপি
   • নিষ্ক্রিয় সময় যখন ডাউনস্ট্রিম জিপিইউগুলি সক্রিয়করণের জন্য আপস্ট্রিম পর্যায়ে অপেক্ষা করে
   • গ্রেডিয়েন্ট মান একটি স্পাইক
4. কিভাবে পাইপলাইন সমান্তরালতা বুদবুদ কমিয়ে দেয়?
   • একটি ছোট শেখার হার ব্যবহার করে
   • মডেল থেকে কিছু স্তর অপসারণ করে
   • CPU-তে অ্যাক্টিভেশন সংরক্ষণ করে
   • প্রতিটি ব্যাচকে মাইক্রো-ব্যাচগুলিতে বিভক্ত করে যা পর্যায়গুলির মধ্য দিয়ে প্রবাহিত হয়
5. কেন টেনসর সমান্তরালতা সাধারণত একটি একক নোডের মধ্যে রাখা হয়?
   • কারণ এর ঘন ঘন আংশিক ফলাফলের সব-কমানোর ফলে দ্রুত ইন্ট্রা-নোড লিঙ্ক যেমন NVLink থেকে উপকার পাওয়া যায়
   • কারণ এতে কোনো যোগাযোগের প্রয়োজন হয় না
   • কারণ নোড মোটেও ডেটা শেয়ার করতে পারে না
   • কারণ এটি শুধুমাত্র একটি GPU সমর্থন করে
6. ট্রান্সফরমার প্রশিক্ষণে টেনসর সমান্তরালতার জন্য কোন কাঠামোটি সবচেয়ে বেশি পরিচিত?
   • scikit-শিখা
   • এনভিডিয়া মেগাট্রন-এলএম
   • OpenCV
   • পান্ডা
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation