গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
মিক্সট্রাল এবং স্পারস মডেল কুইজ
Mixtral রাউটিং, বিশেষজ্ঞ অ্যাক্টিভেশন, টোটাল বনাম অ্যাক্টিভ প্যারামিটার এবং স্পার্স মডেলের ব্যবহারিক মেমরি এবং ডিপ্লয়মেন্ট ট্রেড-অফ পর্যালোচনা করুন।
প্রশ্ন 1 এর 8
Mixtral 8x7B-তে, কতজন বিশেষজ্ঞ প্রতিটি পৃথক টোকেন প্রক্রিয়া করেন?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- Mixtral 8x7B-তে, কতজন বিশেষজ্ঞ প্রতিটি পৃথক টোকেন প্রক্রিয়া করেন?
- দুজন বিশেষজ্ঞ
- আটজনই বিশেষজ্ঞ
- ঠিক একজন বিশেষজ্ঞ
- প্রতিবার একটি এলোমেলো সংখ্যা
- কোন কম্পোনেন্ট সিদ্ধান্ত নেয় কোন বিশেষজ্ঞদের কাছে টোকেন পাঠানো হবে?
- টোকেনাইজার
- রাউটার (গেটিং নেটওয়ার্ক)
- মনোযোগ স্তর
- এমবেডিং টেবিল
- যদিও Mixtral 8x7B এর মোট 47B প্যারামিটার রয়েছে, মোটামুটিভাবে প্রতি টোকেন কতজন সক্রিয়?
- প্রায় 47 বিলিয়ন
- প্রায় 7 বিলিয়ন
- প্রায় 13 বিলিয়ন
- প্রায় 70 বিলিয়ন
- একটি Mixtral সার্ভিং সেটআপ অ্যাকাউন্টের জন্য কি করতে হবে এমনকি যখন প্রতি টোকেনে মাত্র দুইজন বিশেষজ্ঞ চালান?
- শুধুমাত্র সক্রিয় পরামিতিগুলিকে কোথাও সংরক্ষণ করতে হবে
- সমস্ত বিশেষজ্ঞদের সর্বদা জিপিইউ মেমরিতে কোনও অফলোডিং বিকল্প ছাড়াই ফিট করতে হবে
- চেকপয়েন্ট পরিবর্তন না করেই অব্যবহৃত বিশেষজ্ঞদের মুছে ফেলা যেতে পারে
- সম্পূর্ণ বিশেষজ্ঞ ওজন অবশ্যই সিস্টেমে উপলব্ধ থাকতে হবে, স্থাপনার উপর নির্ভর করে রেসিডেন্সি বা অফলোডিং সহ
- কোন লাইসেন্সের অধীনে মিস্ট্রাল এআই মিক্সট্রাল প্রকাশ করেছে, উন্মুক্ত দত্তক গ্রহণের জন্য?
- অ্যাপাচি 2.0
- মালিকানা, শুধুমাত্র বন্ধ উৎস
- GPL v3
- ক্রিয়েটিভ কমন্স অবাণিজ্যিক
- Mixtral 8x7B ইন্সট্রাক্ট ভেরিয়েন্টের জন্য Mistral কোন প্রশিক্ষণের ধাপগুলি রিপোর্ট করে?
- এটি যেকোন প্রশিক্ষণের ডেটার প্রয়োজনীয়তাকে সরিয়ে দেয়
- তত্ত্বাবধানকৃত ফাইন-টিউনিং এবং সরাসরি পছন্দ অপ্টিমাইজেশান (DPO)
- এটি সম্পূর্ণভাবে GPU-এর প্রয়োজনীয়তা দূর করে
- এটি গ্যারান্টি দেয় যে মডেলগুলি কখনই ভুল করবে না
- প্রতিটি Mixtral 8x7B স্পারস মিশ্রণ-অফ-বিশেষজ্ঞ স্তরে কতগুলি বিশেষজ্ঞ নেটওয়ার্ক উপলব্ধ?
- দুজন বিশেষজ্ঞ
- সাতজন বিশেষজ্ঞ
- আটজন বিশেষজ্ঞ
- বারোজন বিশেষজ্ঞ
- Mixtral 8x7B-এর জন্য Mistral কোন ভাষাগুলিকে তালিকাভুক্ত করে?
- হ্যাঁ; সমস্ত অব্যবহৃত বিশেষজ্ঞ ওজন মুছে ফেলা হয়
- হ্যাঁ; এর মানে হল 12.9B মোট প্যারামিটার সহ মডেলটি ঘন
- না; এর মানে প্রতিটি প্যারামিটার প্রতিটি টোকেনের জন্য সক্রিয়
- ইংরেজি, ফরাসি, ইতালিয়ান, জার্মান এবং স্প্যানিশ