পরবর্তী আপপরবর্তী গাইড
মাল্টি-জিপিইউ ট্রেনিংয়ের জন্য Hugging Face এক্সিলারেট
টেকনিক্যাল
প্রযুক্তিগত গাইড
মাল্টি-ইনস্ট্যান্স GPU পার্টিশনিং
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
গভীর ডুব
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ক্লাউড প্রদানকারী একটি A100 কে সাতটি দৃষ্টান্তে বিভক্ত করে যাতে সাতজন গ্রাহক প্রত্যেকে অনুমানের জন্য একটি গ্যারান্টিযুক্ত, বিচ্ছিন্ন GPU স্লাইস পান।
একটি বিশ্ববিদ্যালয়ের গবেষণা ক্লাস্টার প্রতিটি পিএইচডি শিক্ষার্থীকে পুরো কার্ড একচেটিয়া করার পরিবর্তে প্রোটোটাইপ করার জন্য একটি 10GB MIG উদাহরণ দেয়।
একটি অনুমান পরিষেবা একটি H100-এ বেশ কয়েকটি ছোট ভাষা এবং দৃষ্টি মডেল প্যাক করে, প্রতিটি তার নিজস্ব পার্টিশনে অনুমানযোগ্য লেটেন্সি সহ।
একটি Kubernetes ক্লাস্টার MIG দৃষ্টান্তগুলিকে নির্ধারিত সম্পদ হিসাবে বিজ্ঞাপন দেয় তাই পড অন্য যেকোন সম্পদের মতো 'nvidia.com/mig-1g.5gb' অনুরোধ করে।
মাল্টি-ইনস্ট্যান্স GPU পার্টিশনের ভবিষ্যত
GPU গুলি 80GB, 141GB, এবং তার পরেও বৃদ্ধি পেয়ে, পার্টিশনিং আরও আকর্ষণীয় হয়ে ওঠে কারণ পৃথক মডেলের অনুমানের জন্য খুব কমই একটি সম্পূর্ণ কার্ডের প্রয়োজন হয়। আরও কড়া কুবারনেটস এবং ক্লাউড ইন্টিগ্রেশন, নোডকে নিষ্কাশন না করে গতিশীল পুনঃবিভাগ এবং সূক্ষ্ম-দানাযুক্ত প্রোফাইল আশা করুন। প্রতিযোগী বিক্রেতারা অনুরূপ SR-IOV-স্টাইলের GPU ভার্চুয়ালাইজেশন অনুসরণ করছে, এবং সার্ভারহীন অনুমান প্ল্যাটফর্মগুলি ক্রমবর্ধমানভাবে অনেক মডেলকে ঘনভাবে প্যাক করতে এবং নিষ্ক্রিয় বর্জ্য কাটাতে পার্টিশনের উপর নির্ভর করে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Multi-Instance GPU Partitioning quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
মাল্টি-ইনস্ট্যান্স GPU পার্টিশনিং কি?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
কোন NVIDIA স্থাপত্যের উপর MIG প্রথম চালু হয়েছিল?
এমআইজি অ্যাম্পিয়ার-ভিত্তিক A100 দিয়ে আত্মপ্রকাশ করে এবং H100 এবং পরবর্তী ডেটা-সেন্টার GPU-তে চলতে থাকে।
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
'1g.5gb'-এর মতো একটি MIG প্রোফাইলে, '5gb' কী উপস্থাপন করে?
প্রোফাইলটি কম্পিউট স্লাইস (1g) এবং উদাহরণে দেওয়া ডেডিকেটেড মেমরি (5GB) এনকোড করে।
কোন কাজের চাপের জন্য MIG বিশেষভাবে উপযুক্ত?
অনেক ছোট, বিচ্ছিন্ন কাজের চাপ (যেমন অনুমানের মতো) পরিষেবার গ্যারান্টিযুক্ত মানের সাথে একটি কার্ড শেয়ার করলে MIG জ্বলে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড