MoE পরিবেশন কুইজের জন্য বিশেষজ্ঞ সমান্তরালতা

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. বিশেষজ্ঞ সমান্তরালতা জিপিইউ জুড়ে কি বিতরণ করে?
   • রিডানডেন্সির জন্য সম্পূর্ণ মডেলের কপি
   • শুধুমাত্র ব্যক্তিগত মনোযোগ প্রধান
   • একটি MoE স্তরের বিভিন্ন ফিড-ফরোয়ার্ড বিশেষজ্ঞ
   • এম্বেডিং টেবিলের স্তর
2. কোন যোগাযোগ প্যাটার্ন MoE বিশেষজ্ঞ সমান্তরাল কেন্দ্রীয়?
   • দুটি অল-টু-অল এক্সচেঞ্জ (প্রেরণ এবং একত্রিত)
   • একটি একক সম্প্রচার
   • পয়েন্ট-টু-পয়েন্ট গ্রেডিয়েন্ট সিঙ্ক
   • কোন যোগাযোগের প্রয়োজন নেই
3. বিশাল মোট প্যারামিটার থাকা সত্ত্বেও কেন MoE প্রতি-টোকেন গণনা কম রাখে?
   • এটি ওজনকে 1 বিটে সংকুচিত করে
   • এটি মনোযোগের স্তরগুলি এড়িয়ে যায়
   • বিশেষজ্ঞরা তাদের সমস্ত ওজন ভাগ করে নেন
   • শুধুমাত্র টপ-কে নির্বাচিত বিশেষজ্ঞরা প্রতি টোকেন চালান
4. রাউটিং ডেটা-নির্ভর হওয়ার কারণে কী সমস্যা দেখা দেয়?
   • গ্রেডিয়েন্ট বিস্ফোরণ
   • ভারসাম্যহীনতা, যেখানে কিছু বিশেষজ্ঞরা অনেক বেশি টোকেন পান
   • রাউটার প্রশিক্ষণ দেওয়া যাবে না
   • টোকেন তাদের অবস্থান এম্বেডিং হারান
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. কীভাবে সিস্টেমগুলি সমস্ত-থেকে-সব পদক্ষেপের বিলম্বিতা লুকিয়ে রাখে?
   • পরিবর্তে CPU-তে চালানোর মাধ্যমে
   • একত্রিত পদক্ষেপ অপসারণ দ্বারা
   • শেখার হার বৃদ্ধির মাধ্যমে
   • বিশেষজ্ঞ গণনার সাথে যোগাযোগ ওভারল্যাপ করে
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory