গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
বিশেষজ্ঞদের কুইজের মিশ্রণ
স্পার্স MoE রাউটিং, বিশেষজ্ঞ লোড ব্যালেন্স, এবং মেমরি ট্রেডঅফ অনুশীলন করুন, যার মধ্যে সক্রিয় প্রতি-টোকেন কাজ এবং মোট সঞ্চিত প্যারামিটারের মধ্যে পার্থক্য রয়েছে।
প্রশ্ন 1 এর 8
বিশেষজ্ঞ স্তরের মিশ্রণে, কোন বিশেষজ্ঞরা প্রদত্ত টোকেন প্রক্রিয়াকরণের সিদ্ধান্ত নেয়?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- বিশেষজ্ঞ স্তরের মিশ্রণে, কোন বিশেষজ্ঞরা প্রদত্ত টোকেন প্রক্রিয়াকরণের সিদ্ধান্ত নেয়?
- একটি ছোট শেখা রাউটার (গেটিং নেটওয়ার্ক) যা বিশেষজ্ঞদের স্কোর করে
- প্রশিক্ষণের আগে একটি নির্দিষ্ট লুকআপ টেবিল সেট
- ব্যবহারকারীর প্রম্পট দৈর্ঘ্য
- প্রতিটি ধাপে একটি এলোমেলো ড্র
- প্রতি টোকেন খরচে সামঞ্জস্যপূর্ণ বৃদ্ধি ছাড়াই কেন একটি MoE মডেলে ঘন মডেলের তুলনায় অনেক বেশি মোট প্যারামিটার থাকতে পারে?
- এটি একটি একক ভাগ করা ওজনে পরামিতিগুলিকে সংকুচিত করে
- এটি মনোযোগের স্তরগুলিকে সম্পূর্ণভাবে এড়িয়ে যায়
- প্রতিটি টোকেনের জন্য শুধুমাত্র কয়েকজন বিশেষজ্ঞ (টপ-কে) সক্রিয় করা হয়েছে
- এটি প্রতিটি বিশেষজ্ঞ চালায় কিন্তু ফলাফল গড় করে
- MoE প্রশিক্ষণের সময় লোড-ব্যালেন্সিং (অক্সিলারী) ক্ষতির কোন সমস্যা সমাধান করে?
- প্রসঙ্গ উইন্ডোর জন্য টোকেনগুলি খুব দীর্ঘ৷
- রাউটারটি কিছু বিশেষজ্ঞের অতিরিক্ত ব্যবহার করে এবং বাকিরা ক্ষুধার্ত
- মনোযোগের মাথায় গ্রেডিয়েন্টগুলি অদৃশ্য হয়ে যাচ্ছে
- বৈধতা সেট overfitting
- Mixtral 8x7B টোকেন প্রতি তার 8 বিশেষজ্ঞের মধ্যে 2 জনকে সক্রিয় করে। এটি এর আকার বনাম এর গণনা সম্পর্কে কী বোঝায়?
- এটি প্রতিটি টোকেনে 8 জন বিশেষজ্ঞের গণনা ব্যবহার করে
- এটিতে একটি 7B ঘন মডেলের চেয়ে কম মোট পরামিতি রয়েছে
- এটি মোটেও জিপিইউতে চলতে পারে না
- টোকেন প্রতি এটির সক্রিয় গণনা এর মোট প্যারামিটার গণনা প্রস্তাবিত তুলনায় অনেক ছোট
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0.5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters