গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
ডিপস্পিড এবং মেগাট্রন ট্রেনিং স্ট্যাক কুইজ
ZeRO শার্ডিং পর্যায়, টেনসর এবং পাইপলাইন সমান্তরালতা, সক্রিয়করণ চেকপয়েন্টিং, অফলোডিং এবং সম্মিলিত 3D সমান্তরাল প্রশিক্ষণ পরীক্ষা করে।
প্রশ্ন 1 এর 8
DeepSpeed এর ZeRO অপ্টিমাইজারের প্রাথমিক উদ্দেশ্য কি?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- DeepSpeed এর ZeRO অপ্টিমাইজারের প্রাথমিক উদ্দেশ্য কি?
- মেমরি সংরক্ষণ করতে GPU জুড়ে অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট, এবং প্যারামিটারগুলিকে শার্ড করতে
- স্থাপনার জন্য চূড়ান্ত মডেল সংকুচিত করতে
- ফ্রেমওয়ার্কের মধ্যে মডেল অনুবাদ করতে
- প্রশিক্ষণ ডেটা স্বয়ংক্রিয়ভাবে লেবেল করতে
- টেনসর সমান্তরালতা, মেগাট্রন-এলএম-এ অগ্রণী, মডেলটিকে কীভাবে বিভক্ত করে?
- বিভিন্ন GPU তে বিভিন্ন স্তর স্থাপন করে
- জিপিইউ জুড়ে একটি স্তরের মধ্যে পৃথক ম্যাট্রিক্স গুণনকে স্লাইস করে
- প্রতিটি জিপিইউকে ডেটার আলাদা ব্যাচ দেওয়ার মাধ্যমে
- বিভিন্ন জিপিইউতে বিভিন্ন সময়ের ধাপ সংরক্ষণ করে
- পাইপলাইন সমান্তরালতা টেনসর সমান্তরাল থেকে পৃথক কারণ এটি মডেলটিকে বিভক্ত করে:
- প্রতিটি স্তরের ভিতরে ম্যাট্রিক্স স্লাইস করা
- প্রতিটি জিপিইউতে পুরো মডেলের নকল করা হচ্ছে
- বিভিন্ন GPU-তে বিভিন্ন স্তর (পর্যায়) বরাদ্দ করা
- কম নির্ভুলতার জন্য ওজন পরিমাপ করা
- কোন ZeRO পর্যায়টি মডেলের পরামিতিগুলিকে শার্ড করার মাধ্যমে সর্বাধিক মেমরি সঞ্চয় প্রদান করে?
- পর্যায় 1
- পর্যায় 2
- পর্যায় 0
- পর্যায় 3
- প্রশিক্ষণের সময় স্মৃতি সংরক্ষণের জন্য 'অ্যাক্টিভেশন চেকপয়েন্টিং' কি ব্যবসা করে?
- ব্যাকওয়ার্ড পাসের সময় অ্যাক্টিভেশন পুনরায় গণনা করে অতিরিক্ত গণনা
- মডেল নির্ভুলতা
- নেটওয়ার্ক ব্যান্ডউইথ
- স্তর সংখ্যা
- কেন এই কৌশলগুলিকে একত্রিত করাকে প্রায়শই '3D সমান্তরালতা' বলা হয়?
- এটি শুধুমাত্র 3D গ্রাফিক্স কার্ডে কাজ করে
- এটি তিনটি অক্ষ বরাবর ডেটা, টেনসর এবং পাইপলাইন সমান্তরালতাকে একত্রিত করে
- এটি সর্বোচ্চ তিনটি জিপিইউ ব্যবহার করে
- এটি তিনটি মাত্রায় মডেল রেন্ডার করে
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- পর্যায় 0
- পর্যায় 2
- পর্যায় 1
- পর্যায় 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget