গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

বিশেষজ্ঞদের কুইজের মিশ্রণ

স্পার্স MoE রাউটিং, বিশেষজ্ঞ লোড ব্যালেন্স, এবং মেমরি ট্রেডঅফ অনুশীলন করুন, যার মধ্যে সক্রিয় প্রতি-টোকেন কাজ এবং মোট সঞ্চিত প্যারামিটারের মধ্যে পার্থক্য রয়েছে।

সম্পর্কিত গাইড পাথবিশেষজ্ঞদের মিশ্রণ
প্রশ্ন 1 এর 8

বিশেষজ্ঞ স্তরের মিশ্রণে, কোন বিশেষজ্ঞরা প্রদত্ত টোকেন প্রক্রিয়াকরণের সিদ্ধান্ত নেয়?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. বিশেষজ্ঞ স্তরের মিশ্রণে, কোন বিশেষজ্ঞরা প্রদত্ত টোকেন প্রক্রিয়াকরণের সিদ্ধান্ত নেয়?
    • একটি ছোট শেখা রাউটার (গেটিং নেটওয়ার্ক) যা বিশেষজ্ঞদের স্কোর করে
    • প্রশিক্ষণের আগে একটি নির্দিষ্ট লুকআপ টেবিল সেট
    • ব্যবহারকারীর প্রম্পট দৈর্ঘ্য
    • প্রতিটি ধাপে একটি এলোমেলো ড্র
  2. প্রতি টোকেন খরচে সামঞ্জস্যপূর্ণ বৃদ্ধি ছাড়াই কেন একটি MoE মডেলে ঘন মডেলের তুলনায় অনেক বেশি মোট প্যারামিটার থাকতে পারে?
    • এটি একটি একক ভাগ করা ওজনে পরামিতিগুলিকে সংকুচিত করে
    • এটি মনোযোগের স্তরগুলিকে সম্পূর্ণভাবে এড়িয়ে যায়
    • প্রতিটি টোকেনের জন্য শুধুমাত্র কয়েকজন বিশেষজ্ঞ (টপ-কে) সক্রিয় করা হয়েছে
    • এটি প্রতিটি বিশেষজ্ঞ চালায় কিন্তু ফলাফল গড় করে
  3. MoE প্রশিক্ষণের সময় লোড-ব্যালেন্সিং (অক্সিলারী) ক্ষতির কোন সমস্যা সমাধান করে?
    • প্রসঙ্গ উইন্ডোর জন্য টোকেনগুলি খুব দীর্ঘ৷
    • রাউটারটি কিছু বিশেষজ্ঞের অতিরিক্ত ব্যবহার করে এবং বাকিরা ক্ষুধার্ত
    • মনোযোগের মাথায় গ্রেডিয়েন্টগুলি অদৃশ্য হয়ে যাচ্ছে
    • বৈধতা সেট overfitting
  4. Mixtral 8x7B টোকেন প্রতি তার 8 বিশেষজ্ঞের মধ্যে 2 জনকে সক্রিয় করে। এটি এর আকার বনাম এর গণনা সম্পর্কে কী বোঝায়?
    • এটি প্রতিটি টোকেনে 8 জন বিশেষজ্ঞের গণনা ব্যবহার করে
    • এটিতে একটি 7B ঘন মডেলের চেয়ে কম মোট পরামিতি রয়েছে
    • এটি মোটেও জিপিইউতে চলতে পারে না
    • টোকেন প্রতি এটির সক্রিয় গণনা এর মোট প্যারামিটার গণনা প্রস্তাবিত তুলনায় অনেক ছোট
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0.5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters