পরবর্তী আপপরবর্তী গাইড
Estimating GPU Memory Needed for LLMs
টেকনিক্যাল
প্রযুক্তিগত গাইড
GPU মেমরি ম্যানেজমেন্ট এবং ফ্র্যাগমেন্টেশন
কীভাবে AI ফ্রেমওয়ার্কগুলি একটি GPU-তে সীমিত মেমরি বরাদ্দ, পুনঃব্যবহার এবং পুনরুদ্ধার করে এবং কেন অবশিষ্ট ফাঁক (খণ্ডন) মেমরির বাইরের ত্রুটির কারণ হতে পারে এমনকি যখন প্রচুর মেমরি প্রযুক্তিগতভাবে অবশিষ্ট থাকে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটা বোঝা বড় মডেল ফিট করা এবং রহস্যময় ক্র্যাশ এড়াতে চাবিকাঠি।
গভীর ডুব
GPU মেমরি স্থির এবং মূল্যবান: একটি কার্ডে মোট 24, 80, বা 192 GB থাকতে পারে, মডেল ওজন, অ্যাক্টিভেশন, গ্রেডিয়েন্ট, অপ্টিমাইজার স্টেট এবং অস্থায়ী বাফার দ্বারা ভাগ করা। প্রতিটি অপারেশনে মেমরি বরাদ্দ করার জন্য ড্রাইভারকে কল করা ধীর হবে, তাই PyTorch এর মতো ফ্রেমওয়ার্কগুলি একটি ক্যাশিং বরাদ্দকারী ব্যবহার করে যা সামনের দিকে বড় বড় ব্লকগুলিকে ধরে এবং সাব-টুকরোগুলি হস্তান্তর করে, তারপর পুনঃব্যবহারের জন্য মুক্ত করা টুকরোগুলিকে পুলে রাখে। ক্যাচ হল ফ্র্যাগমেন্টেশন: যেহেতু বিভিন্ন আকারের টেনসরগুলি বরাদ্দ করা হয় এবং মুক্ত করা হয়, মুক্ত স্থানটি বিক্ষিপ্ত অংশে ভেঙে যায়। আপনি মোট 5 GB বিনামূল্যে পেতে পারেন তবে একটি সংলগ্ন 2 GB টেনসর বরাদ্দ করতে ব্যর্থ হন কারণ কোনও একক ফাঁক যথেষ্ট বড় নয়। এই কারণেই আপাতদৃষ্টিতে উপলব্ধ হেডরুম থাকা সত্ত্বেও প্রশিক্ষণ মেমরির বাইরের ত্রুটিগুলির সাথে ক্র্যাশ হতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
GPU মেমরি ম্যানেজমেন্ট এবং ফ্র্যাগমেন্টেশনের ভবিষ্যত
অপারেটিং সিস্টেম দ্বারা অনুপ্রাণিত হয়ে মেমরি ম্যানেজমেন্ট আরও স্মার্ট এবং আরও পৃষ্ঠাযুক্ত হয়ে উঠছে। ভার্চুয়াল-মেমরি-স্টাইল অ্যালোকেটর এবং পেজড অ্যাটেনশনের মতো কৌশলগুলি (অনুমান করার সময় কেভি ক্যাশে পরিচালনা করতে ব্যবহৃত) নাটকীয়ভাবে বর্জ্য এবং খণ্ডন হ্রাস করে। ফ্রেমওয়ার্কগুলিকে প্রসারণযোগ্য, ডিফ্র্যাগমেন্টিং বরাদ্দকারী, বিল্ট-ইন প্রোফাইলারের মাধ্যমে আরও ভাল দৃশ্যমানতা এবং অফলোডিং এবং পুনঃগণনার সাথে আরও শক্ত কাপলিং আশা করুন যাতে সিস্টেমটি স্বয়ংক্রিয়ভাবে জিপিইউ, সিপিইউ এবং ডিস্ক মেমরিকে জাগল করে যাতে ব্যবহার বেশি থাকে এবং বিরল ক্র্যাশ হয়।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the GPU Memory Management and Fragmentation quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
GPU মেমরি ম্যানেজমেন্ট এবং ফ্র্যাগমেন্টেশন কি?
কীভাবে AI ফ্রেমওয়ার্কগুলি একটি GPU-তে সীমিত মেমরি বরাদ্দ, পুনঃব্যবহার এবং পুনরুদ্ধার করে এবং কেন অবশিষ্ট ফাঁক (খণ্ডন) মেমরির বাইরের ত্রুটির কারণ হতে পারে এমনকি যখন প্রচুর মেমরি প্রযুক্তিগতভাবে অবশিষ্ট থাকে। এটা বোঝা বড় মডেল ফিট করা এবং রহস্যময় ক্র্যাশ এড়াতে চাবিকাঠি।
GPU মেমরি ফ্র্যাগমেন্টেশন কি?
ফ্র্যাগমেন্টেশন মানে মোট ফ্রি মেমরি যথেষ্ট, কিন্তু এটি টুকরো টুকরো হয়ে গেছে, তাই বড় টেনসরের জন্য কোনো একক ফাঁক যথেষ্ট বড় নয়।
কেন PyTorch মত ফ্রেমওয়ার্ক একটি ক্যাশিং মেমরি বরাদ্দকারী ব্যবহার করে?
প্রতিটি অপের জন্য cudaMalloc/cudaFree কল করা ধীরগতির, তাই ক্যাশিং বরাদ্দকারী বড় ব্লকগুলি ধরে এবং পুল থেকে মুক্ত হওয়াগুলিকে পুনরায় ব্যবহার করে৷
A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
VLLM-এর PagedAttention অনুমানের সময় মেমরির অপচয় কমাতে কী পরিচালনা করে?
PagedAttention OS ভার্চুয়াল মেমরির মতো নির্দিষ্ট-আকারের পৃষ্ঠাগুলিতে KV ক্যাশে সংরক্ষণ করে, ফ্র্যাগমেন্টেশন কাটা এবং দক্ষতার সাথে অনেক অনুরোধ পরিবেশন করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড