गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर

मिक्सट्रल और विरल मॉडल प्रश्नोत्तरी

Mixtral रूटिंग, विशेषज्ञ सक्रियण, कुल बनाम सक्रिय पैरामीटर और विरल मॉडल की व्यावहारिक मेमोरी और परिनियोजन ट्रेड-ऑफ की समीक्षा करें।

संबंधित मार्गदर्शक पथमिक्सट्रल और विरल मॉडल
प्रश्न 1 का 8

मिक्सट्रल 8x7B में, कितने विशेषज्ञ प्रत्येक व्यक्तिगत टोकन को संसाधित करते हैं?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. मिक्सट्रल 8x7B में, कितने विशेषज्ञ प्रत्येक व्यक्तिगत टोकन को संसाधित करते हैं?
    • दो विशेषज्ञ
    • सभी आठ विशेषज्ञ
    • बिल्कुल एक विशेषज्ञ
    • हर बार एक यादृच्छिक संख्या
  2. कौन सा घटक यह तय करता है कि टोकन किन विशेषज्ञों को भेजा जाए?
    • टोकनकर्ता
    • राउटर (गेटिंग नेटवर्क)
    • ध्यान की परत
    • एम्बेडिंग टेबल
  3. हालाँकि मिक्सट्रल 8x7B में लगभग 47B कुल पैरामीटर हैं, मोटे तौर पर प्रति टोकन कितने सक्रिय हैं?
    • लगभग 47 अरब
    • लगभग 7 अरब
    • लगभग 13 अरब
    • लगभग 70 अरब
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. मिस्ट्रल एआई ने किस लाइसेंस के तहत मिक्सट्राल जारी किया, जिससे खुले तौर पर अपनाने को बढ़ावा मिला?
    • अपाचे 2.0
    • मालिकाना, केवल बंद-स्रोत
    • जीपीएल v3
    • क्रिएटिव कॉमन्स गैर-वाणिज्यिक
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • यह किसी भी प्रशिक्षण डेटा की आवश्यकता को हटा देता है
    • Supervised fine-tuning and direct preference optimization (DPO)
    • यह GPU की आवश्यकता को पूरी तरह से समाप्त कर देता है
    • यह गारंटी देता है कि मॉडल कभी गलती नहीं करेंगे
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • दो विशेषज्ञ
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish