विशेषज्ञों का मिश्रण प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. विशेषज्ञों के मिश्रण की परत में, यह क्या तय करता है कि कौन से विशेषज्ञ किसी दिए गए टोकन को संसाधित करते हैं?
   • एक छोटा सा सीखा हुआ राउटर (गेटिंग नेटवर्क) जो विशेषज्ञों को स्कोर करता है
   • प्रशिक्षण से पहले एक निश्चित लुकअप टेबल सेट
   • उपयोगकर्ता की शीघ्र लंबाई
   • हर कदम पर एक यादृच्छिक ड्रा
2. प्रति टोकन लागत में समान वृद्धि के बिना एक MoE मॉडल में सघन मॉडल की तुलना में कहीं अधिक कुल पैरामीटर क्यों हो सकते हैं?
   • यह मापदंडों को एक साझा वजन में संपीड़ित करता है
   • यह ध्यान की परतों को पूरी तरह से हटा देता है
   • प्रत्येक टोकन के लिए केवल कुछ विशेषज्ञ (टॉप-के) सक्रिय होते हैं
   • यह हर विशेषज्ञ को चलाता है लेकिन परिणाम औसत रखता है
3. MoE प्रशिक्षण के दौरान लोड-बैलेंसिंग (सहायक) हानि किस समस्या का समाधान करती है?
   • संदर्भ विंडो के लिए टोकन बहुत लंबे हैं
   • राउटर कुछ विशेषज्ञों का अत्यधिक उपयोग कर रहा है और बाकी को भूखा मार रहा है
   • ध्यान प्रमुखों में लुप्त हो रहे स्नातक
   • सत्यापन सेट पर ओवरफ़िटिंग
4. मिक्सट्रल 8x7B प्रति टोकन अपने 8 विशेषज्ञों में से 2 को सक्रिय करता है। इसका इसकी गणना बनाम इसके आकार के बारे में क्या मतलब है?
   • यह प्रत्येक टोकन पर सभी 8 विशेषज्ञों की गणना का उपयोग करता है
   • इसमें 7B सघन मॉडल की तुलना में कम कुल पैरामीटर हैं
   • यह बिल्कुल भी GPU पर नहीं चल सकता
   • प्रति टोकन इसकी सक्रिय गणना इसके कुल पैरामीटर गणना से कहीं कम है
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0.5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters