পরবর্তী আপপরবর্তী গাইড
ডিস্যাগ্রিগেটেড প্রিফিল এবং ডিকোড সার্ভিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
MoE পরিবেশনের জন্য বিশেষজ্ঞ সমান্তরালতা
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
গভীর ডুব
একটি মিক্সচার-অফ-এক্সপার্টস (MoE) স্তর একটি বড় ফিড-ফরোয়ার্ড নেটওয়ার্ককে অনেক ছোট (বিশেষজ্ঞ) এবং একটি রাউটার দিয়ে প্রতিস্থাপন করে যা প্রতি টোকেন প্রতি টপ-কে (প্রায়ই 1 বা 2) বিশেষজ্ঞ বেছে নেয়। বিশেষজ্ঞ সমান্তরালতা (EP) বিভিন্ন বিশেষজ্ঞদের বিভিন্ন GPU-তে রাখে। অনুমানে, রাউটার সিদ্ধান্ত নেয় কোন বিশেষজ্ঞদের প্রতিটি টোকেনের প্রয়োজন, তারপর একটি সর্ব-টু-অল যোগাযোগ পদক্ষেপ তাদের নির্বাচিত বিশেষজ্ঞদের ধরে থাকা GPU-তে টোকেনগুলিকে শাফেল করে, FFN চালায়, এবং ফলাফলগুলিকে এলোমেলো করে দেয়৷ এটি একটি মডেলের বিশাল মোট প্যারামিটার (স্পার্স) থাকতে দেয় যখন টোকেন প্রতি একটি ছোট ভগ্নাংশ সক্রিয় করে (নিম্ন FLOPs)। Mixtral 8x7B, DeepSeek-V3, এবং GPT-OSS এর মতো মডেলগুলি এটি ব্যবহার করে। কঠিন অংশগুলি বিশেষজ্ঞদের জুড়ে ভারসাম্য বজায় রাখা এবং দুটি ব্যয়বহুল অল-টু-অল হপস প্রতি স্তর।
বাস্তব-বিশ্ব বাস্তবায়ন
প্রতিটি ডিভাইসে তার 8 বিশেষজ্ঞের মধ্যে 2-4 জনকে রেখে 2-4 GPU জুড়ে Mixtral 8x7B পরিবেশন করা হচ্ছে
DeepSeek-V3 নোড-সীমিত রাউটিং ব্যবহার করে একটি টোকেনের বিশেষজ্ঞরা কতগুলি নোড স্প্যান করে তা ক্যাপ করে, ইন্টার-নোড অল-টু-অল কাটে
একটি একক 8-GPU নোডে 200B+ স্পারস মডেল হোস্ট করতে vLLM বা SGLang বিশেষজ্ঞ-সমান্তরাল মোড ব্যবহার করে
একটি হাইব্রিড ইপি + টিপি স্থাপনায় মনোযোগ স্তরে টেনসর সমান্তরালতার সাথে বিশেষজ্ঞ সমান্তরালতার সংমিশ্রণ
MoE পরিবেশনের জন্য বিশেষজ্ঞ সমান্তরালতার ভবিষ্যত
রাউটিং এবং হার্ডওয়্যারের আরও কঠোর সহ-ডিজাইন আশা করুন: ফিউজড ডিসপ্যাচ-কম্পিউট-কম্বাইন কার্নেল, গোষ্ঠীবদ্ধ GEMM যা অনেক বিশেষজ্ঞকে ব্যাচ করে এবং NVLink/InfiniBand-অল-টু-অল-সচেতন। DeepSeek-এর সহায়ক-ক্ষতি-মুক্ত ব্যালেন্সিং এবং নোড-সীমিত রাউটিং-এর মতো কৌশলগুলি ক্রস-নোড ট্র্যাফিক হ্রাস করে। বিচ্ছিন্ন পরিবেশন 'বিশেষজ্ঞ' GPU গুলিকে মনোযোগী GPU গুলি থেকে আলাদা করে দেবে, এবং সূক্ষ্ম টপ-কে সহ বৃহত্তর বিশেষজ্ঞ গণনা (শতশত) প্রতি-টোকেন খরচ সমতল রেখে MoE কে চরম স্পর্সিটির দিকে ঠেলে দেবে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Expert Parallelism for MoE Serving quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
MoE পরিবেশনের জন্য বিশেষজ্ঞ সমান্তরালতা কি?
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
বিশেষজ্ঞ সমান্তরালতা জিপিইউ জুড়ে কি বিতরণ করে?
বিশেষজ্ঞ সমান্তরালতা বিভিন্ন বিশেষজ্ঞদের (একটি MoE স্তরের FFN সাব-নেটওয়ার্ক) বিভিন্ন GPU-তে রাখে, তাই প্রতিটি ডিভাইসে বিশেষজ্ঞদের একটি উপসেট থাকে।
কোন যোগাযোগ প্যাটার্ন MoE বিশেষজ্ঞ সমান্তরাল কেন্দ্রীয়?
প্রতিটি MoE স্তরের সাধারণত তাদের বিশেষজ্ঞদের কাছে টোকেন পাঠানোর জন্য একটি অল-টু-অল এবং আউটপুটগুলিকে একত্রিত করার জন্য আরেকটি অল-টু-অল প্রয়োজন।
বিশাল মোট প্যারামিটার থাকা সত্ত্বেও কেন MoE প্রতি-টোকেন গণনা কম রাখে?
একটি রাউটার শুধুমাত্র টপ-কে বিশেষজ্ঞদের (প্রায়শই 1-2) প্রতি টোকেন সক্রিয় করে, তাই মডেলটিতে মোট অনেক বিশেষজ্ঞ থাকা সত্ত্বেও FLOPগুলি ছোট থাকে।
রাউটিং ডেটা-নির্ভর হওয়ার কারণে কী সমস্যা দেখা দেয়?
যেহেতু রাউটারের পছন্দগুলি ইনপুটের উপর নির্ভর করে, তাই কিছু বিশেষজ্ঞ অন্যদের তুলনায় অনেক বেশি টোকেন পান, যা লোড ভারসাম্যহীনতা এবং স্ট্রাগলার তৈরি করে।
Why are capacity limits and padding used in some MoE implementations?
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড