পরবর্তী আপপরবর্তী গাইড
GPTQ এবং AWQ পোস্ট-ট্রেনিং কোয়ান্টাইজেশন
টেকনিক্যাল
প্রযুক্তিগত গাইড
ডিপস্পিড এবং মেগাট্রন ট্রেনিং স্ট্যাক
DeepSpeed (Microsoft) এবং Megatron-LM (NVIDIA) হল এমন সফ্টওয়্যার স্ট্যাক যা হাজার হাজার GPU জুড়ে বিলিয়ন প্যারামিটার সহ প্রশিক্ষণ মডেলগুলিকে বাস্তবে সম্ভবপর করে তোলে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.
গভীর ডুব
একটি GPU-তে একটি বড় মডেলকে প্রশিক্ষণ দেওয়া অসম্ভব কারণ ওজন, গ্রেডিয়েন্ট এবং অপ্টিমাইজার স্টেটগুলি ফিট নয়৷ এই স্ট্যাকগুলি অনেক GPU তে কাজকে বিভক্ত করে। Megatron-LM অগ্রগামী টেনসর সমান্তরালতা, GPU জুড়ে প্রতিটি স্তরের ভিতরে পৃথক ম্যাট্রিক্স গুণনকে স্লাইস করে, প্লাস পাইপলাইন সমান্তরালতা, যা বিভিন্ন GPU-তে বিভিন্ন স্তর রাখে। ডিপস্পিড-এর স্বাক্ষর অবদান হল জিরো (জিরো রিডানডেন্সি অপ্টিমাইজার), যা অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট এবং জিপিইউ জুড়ে প্যারামিটারগুলিকে প্রতিলিপি করার পরিবর্তে, প্রতি-জিপিইউ মেমরিকে নাটকীয়ভাবে কাটায়। BLOOM-176B এবং Megatron-Turing NLG-এর মতো মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য দুটিকে প্রায়শই একত্রিত করা হয় (মেগাট্রন-ডিপস্পিড)। তারা মিশ্র-নির্ভুলতা, অ্যাক্টিভেশন চেকপয়েন্টিং, এবং CPU বা NVMe-তে অফলোডিং যোগ করে তাই বিশাল মডেলগুলি সীমিত হার্ডওয়্যারে প্রশিক্ষণ দেয়।
বাস্তব-বিশ্ব বাস্তবায়ন
শত শত GPU জুড়ে সম্মিলিত Megatron-DeepSpeed স্ট্যাক ব্যবহার করে খোলা বহুভাষিক BLOOM-176B মডেলের প্রশিক্ষণ।
Microsoft এবং NVIDIA 3D সমান্তরালতার সাথে 530-বিলিয়ন-প্যারামিটার Megatron-Turing NLG মডেলকে প্রশিক্ষণ দিচ্ছে।
জিরো-অফলোড গবেষকদের সিপিইউ র্যামে অপ্টিমাইজার স্টেট ছিটিয়ে একটি একক ওয়ার্কস্টেশন GPU-তে মাল্টি-বিলিয়ন-প্যারামিটার মডেলগুলিকে ফাইন-টিউন করতে দেয়।
এই স্ট্যাকগুলিতে অ্যাক্টিভেশন চেকপয়েন্টিং ব্যবহার করে সেগুলি সঞ্চয় করার পরিবর্তে অ্যাক্টিভেশনগুলি পুনরায় গণনা করে দীর্ঘ প্রসঙ্গ উইন্ডোতে ফিট করা।
ডিপস্পিড এবং মেগাট্রন ট্রেনিং স্ট্যাকের ভবিষ্যত
PyTorch-এর নেটিভ FSDP (Fully Sharded Data Parallel) এর সাথে আরও কঠোর ইন্টিগ্রেশন আশা করুন, যা অনেক ZeRO ধারনাকে শোষণ করে, গবেষণা স্ট্যাক এবং মূল কাঠামোর মধ্যে লাইনটি ঝাপসা করে। কম্পাইলার-চালিত পন্থা এবং স্বয়ংক্রিয় সমান্তরাল পরিকল্পনাকারীর লক্ষ্য ম্যানুয়াল টিউনিং অপসারণ করা। যেহেতু প্রশিক্ষণ ক্লাস্টারগুলি কয়েক হাজার এক্সিলারেটরের দিকে বৃদ্ধি পায়, তাই এনভিআইডিআইএ ব্ল্যাকওয়েল এবং কাস্টম প্রশিক্ষণ চিপগুলির মতো নতুন হার্ডওয়্যারের সমর্থনের পাশাপাশি কম্পিউটেশনের সাথে ত্রুটি সহনশীলতা, স্থিতিস্থাপক স্কেলিং এবং ওভারল্যাপিং যোগাযোগ প্রভাবশালী ইঞ্জিনিয়ারিং সীমানায় পরিণত হয়।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the DeepSpeed and Megatron Training Stacks quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is DeepSpeed and Megatron Training Stacks?
DeepSpeed (Microsoft) এবং Megatron-LM (NVIDIA) হল এমন সফ্টওয়্যার স্ট্যাক যা হাজার হাজার GPU জুড়ে বিলিয়ন প্যারামিটার সহ প্রশিক্ষণ মডেলগুলিকে বাস্তবে সম্ভবপর করে তোলে। তাদের ছাড়া, আজকের ফ্রন্টিয়ার মডেলগুলি কেবল স্মৃতিতে ফিট করতে পারে না বা যুক্তিসঙ্গত সময়ে প্রশিক্ষণ শেষ করতে পারে না।
DeepSpeed এর ZeRO অপ্টিমাইজারের প্রাথমিক উদ্দেশ্য কি?
জিরো (জিরো রিডানডেন্সি অপ্টিমাইজার) প্রতিটি ডিভাইসে প্রতিলিপি করার পরিবর্তে অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট এবং জিপিইউ জুড়ে প্যারামিটার পার্টিশন করে মেমরি রিডানডেন্সি দূর করে।
টেনসর সমান্তরালতা, মেগাট্রন-এলএম-এ অগ্রণী, মডেলটিকে কীভাবে বিভক্ত করে?
টেনসর সমান্তরালতা গণিতকে একটি একক স্তরের (যেমন একটি বড় ম্যাট্রিক্স গুন) একাধিক GPU জুড়ে বিভাজন করে, যা ইন্ট্রা-লেয়ার স্প্লিটিং।
কোন ZeRO পর্যায়টি মডেলের পরামিতিগুলিকে শার্ড করার মাধ্যমে সর্বাধিক মেমরি সঞ্চয় প্রদান করে?
গ্রেডিয়েন্ট এবং অপ্টিমাইজার স্টেট ছাড়াও ZeRO স্টেজ 3 শার্ডের পরামিতি, চাহিদা অনুযায়ী সেগুলি সংগ্রহ করে, মেমরির বৃহত্তম হ্রাস দেয়।
প্রশিক্ষণের সময় স্মৃতি সংরক্ষণের জন্য 'অ্যাক্টিভেশন চেকপয়েন্টিং' কি ব্যবসা করে?
অ্যাক্টিভেশন চেকপয়েন্টিং কম মধ্যবর্তী অ্যাক্টিভেশন সঞ্চয় করে এবং ব্যাকপ্রপাগেশনের সময় সেগুলিকে পুনরায় গণনা করে, কম মেমরির জন্য অতিরিক্ত গণনার ব্যবসা করে।
কেন এই কৌশলগুলিকে একত্রিত করাকে প্রায়শই '3D সমান্তরালতা' বলা হয়?
3D সমান্তরালতা তিনটি অর্থোগোনাল কৌশলকে স্ট্যাক করে: ডেটা সমান্তরালতা, টেনসর (আন্তঃস্তর) সমান্তরালতা এবং পাইপলাইন (আন্তঃস্তর) সমান্তরালতা।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড