মাল্টি-ইনস্ট্যান্স GPU পার্টিশনিং
মাল্টি-ইনস্ট্যান্স GPU (MIG) হল একটি NVIDIA প্রযুক্তি যা একটি একক ফিজিক্যাল GPU-কে একাধিক বিচ্ছিন্ন হার্ডওয়্যার পার্টিশনে স্লাইস করে।
ওভারভিউ
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
গভীর ডুব
NVIDIA A100 (Ampere) এর সাথে প্রবর্তিত এবং H100 এবং নতুন ডেটা-সেন্টার GPU-তে চলতে থাকে, MIG একটি GPU কে সাতটি পর্যন্ত স্বাধীন দৃষ্টান্তে তৈরি করে। সফ্টওয়্যার টাইম-স্লাইসিংয়ের বিপরীতে, এমআইজি সত্যিকারের হার্ডওয়্যার বিচ্ছিন্নতা প্রদান করে: প্রতিটি উদাহরণ তার নিজস্ব ডেডিকেটেড স্ট্রিমিং মাল্টিপ্রসেসর (এসএম), L2 ক্যাশে স্লাইস, মেমরি কন্ট্রোলার এবং উচ্চ-ব্যান্ডউইথ মেমরির একটি নির্দিষ্ট স্লাইস পায়। 40GB সহ একটি A100 সাতটি 5GB দৃষ্টান্তে বিভক্ত করা যেতে পারে, বা তার চেয়েও কম বড়। প্রতিটি পার্টিশন একটি ছোট স্বতন্ত্র জিপিইউর মতো আচরণ করে, তাই একটি দৃষ্টান্তে একটি গোলমাল বা ক্র্যাশিং কাজ অন্যটিকে ক্ষুধার্ত বা দূষিত করতে পারে না। এই গ্যারান্টিযুক্ত মানের-পরিষেবারটি এমআইজিকে অনুমান পরিবেশন, বহু-ভাড়াদার ক্লাস্টার এবং উন্নয়ন পরিবেশের জন্য আদর্শ করে তোলে যেখানে অনেক ব্যবহারকারী একটি কার্ড ভাগ করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
এমআইজি জিপিইউ-এর অভ্যন্তরীণ ক্রসবারকে শারীরিকভাবে গেট করার মাধ্যমে কাজ করে যাতে প্রতিটি উদাহরণের নিজস্ব মেমরি স্লাইস এবং এসএম-এর একটি নির্দিষ্ট পথ থাকে। NVIDIA প্রোফাইলগুলিকে 1g.5gb (এক কম্পিউট স্লাইস, 5GB) 7g.40gb পর্যন্ত ভগ্নাংশ হিসাবে সংজ্ঞায়িত করে। একটি জিপিইউ ইন্সট্যান্স মেমরি এবং এসএমএস সংরক্ষণ করে; এর মধ্যে একটি কম্পিউট ইনস্ট্যান্স এসএমএসকে আরও উপবিভক্ত করে। কারণ পার্টিশনগুলি হার্ডওয়্যার-প্রবর্তিত, ত্রুটি, ECC ত্রুটি এবং মেমরি ব্যান্ডউইথ একটি একক উদাহরণে সীমাবদ্ধ থাকে।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
মাল্টি-ইনস্ট্যান্স GPU পার্টিশনের ভবিষ্যত
GPU গুলি 80GB, 141GB, এবং তার পরেও বৃদ্ধি পেয়ে, পার্টিশনিং আরও আকর্ষণীয় হয়ে ওঠে কারণ পৃথক মডেলের অনুমানের জন্য খুব কমই একটি সম্পূর্ণ কার্ডের প্রয়োজন হয়। আরও কড়া কুবারনেটস এবং ক্লাউড ইন্টিগ্রেশন, নোডকে নিষ্কাশন না করে গতিশীল পুনঃবিভাগ এবং সূক্ষ্ম-দানাযুক্ত প্রোফাইল আশা করুন। প্রতিযোগী বিক্রেতারা অনুরূপ SR-IOV-স্টাইলের GPU ভার্চুয়ালাইজেশন অনুসরণ করছে, এবং সার্ভারহীন অনুমান প্ল্যাটফর্মগুলি ক্রমবর্ধমানভাবে অনেক মডেলকে ঘনভাবে প্যাক করতে এবং নিষ্ক্রিয় বর্জ্য কাটাতে পার্টিশনের উপর নির্ভর করে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ক্লাউড প্রদানকারী একটি A100 কে সাতটি দৃষ্টান্তে বিভক্ত করে যাতে সাতজন গ্রাহক প্রত্যেকে অনুমানের জন্য একটি গ্যারান্টিযুক্ত, বিচ্ছিন্ন GPU স্লাইস পান।
একটি বিশ্ববিদ্যালয়ের গবেষণা ক্লাস্টার প্রতিটি পিএইচডি শিক্ষার্থীকে পুরো কার্ড একচেটিয়া করার পরিবর্তে প্রোটোটাইপ করার জন্য একটি 10GB MIG উদাহরণ দেয়।
একটি অনুমান পরিষেবা একটি H100-এ বেশ কয়েকটি ছোট ভাষা এবং দৃষ্টি মডেল প্যাক করে, প্রতিটি তার নিজস্ব পার্টিশনে অনুমানযোগ্য লেটেন্সি সহ।
একটি Kubernetes ক্লাস্টার MIG দৃষ্টান্তগুলিকে নির্ধারিত সম্পদ হিসাবে বিজ্ঞাপন দেয় তাই পড অন্য যেকোন সম্পদের মতো 'nvidia.com/mig-1g.5gb' অনুরোধ করে।
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
মাল্টি-টাস্ক লার্নিং
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Multi-Instance GPU Partitioning?
মাল্টি-ইনস্ট্যান্স GPU (MIG) হল একটি NVIDIA প্রযুক্তি যা একটি একক ফিজিক্যাল GPU-কে একাধিক বিচ্ছিন্ন হার্ডওয়্যার পার্টিশনে স্লাইস করে। এটি গুরুত্বপূর্ণ কারণ এটি একটি ব্যয়বহুল এক্সিলারেটর একে অপরের সাথে হস্তক্ষেপ না করে একসাথে অনেকগুলি ছোট কাজের চাপ পরিবেশন করতে দেয়।
এমআইজি দৃষ্টান্তগুলির মধ্যে কি ধরনের বিচ্ছিন্নতা প্রদান করে?
MIG হার্ডওয়্যারে বিচ্ছিন্নতা প্রয়োগ করে, প্রতিটি উদাহরণে SM, L2 ক্যাশে স্লাইস এবং মেমরি উৎসর্গ করে যাতে কাজের চাপ হস্তক্ষেপ করতে না পারে।
কোন NVIDIA স্থাপত্যের উপর MIG প্রথম চালু হয়েছিল?
এমআইজি অ্যাম্পিয়ার-ভিত্তিক A100 দিয়ে আত্মপ্রকাশ করে এবং H100 এবং পরবর্তী ডেটা-সেন্টার GPU-তে চলতে থাকে।
একটি এমআইজি-সক্ষম জিপিইউকে সর্বাধিক কতগুলি দৃষ্টান্তে বিভক্ত করা যেতে পারে?
একটি এমআইজি-সক্ষম GPU যেমন A100 সাতটি স্বাধীন দৃষ্টান্তে বিভক্ত করা যেতে পারে।
'1g.5gb'-এর মতো একটি MIG প্রোফাইলে, '5gb' কী উপস্থাপন করে?
প্রোফাইলটি কম্পিউট স্লাইস (1g) এবং উদাহরণে দেওয়া ডেডিকেটেড মেমরি (5GB) এনকোড করে।
কোন কাজের চাপের জন্য MIG বিশেষভাবে উপযুক্ত?
অনেক ছোট, বিচ্ছিন্ন কাজের চাপ (যেমন অনুমানের মতো) পরিষেবার গ্যারান্টিযুক্ত মানের সাথে একটি কার্ড শেয়ার করলে MIG জ্বলে।