গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

ডিপস্পিড এবং মেগাট্রন ট্রেনিং স্ট্যাক কুইজ

ZeRO শার্ডিং পর্যায়, টেনসর এবং পাইপলাইন সমান্তরালতা, সক্রিয়করণ চেকপয়েন্টিং, অফলোডিং এবং সম্মিলিত 3D সমান্তরাল প্রশিক্ষণ পরীক্ষা করে।

প্রশ্ন 1 এর 8

DeepSpeed ​​এর ZeRO অপ্টিমাইজারের প্রাথমিক উদ্দেশ্য কি?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. DeepSpeed ​​এর ZeRO অপ্টিমাইজারের প্রাথমিক উদ্দেশ্য কি?
    • মেমরি সংরক্ষণ করতে GPU জুড়ে অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট, এবং প্যারামিটারগুলিকে শার্ড করতে
    • স্থাপনার জন্য চূড়ান্ত মডেল সংকুচিত করতে
    • ফ্রেমওয়ার্কের মধ্যে মডেল অনুবাদ করতে
    • প্রশিক্ষণ ডেটা স্বয়ংক্রিয়ভাবে লেবেল করতে
  2. টেনসর সমান্তরালতা, মেগাট্রন-এলএম-এ অগ্রণী, মডেলটিকে কীভাবে বিভক্ত করে?
    • বিভিন্ন GPU তে বিভিন্ন স্তর স্থাপন করে
    • জিপিইউ জুড়ে একটি স্তরের মধ্যে পৃথক ম্যাট্রিক্স গুণনকে স্লাইস করে
    • প্রতিটি জিপিইউকে ডেটার আলাদা ব্যাচ দেওয়ার মাধ্যমে
    • বিভিন্ন জিপিইউতে বিভিন্ন সময়ের ধাপ সংরক্ষণ করে
  3. পাইপলাইন সমান্তরালতা টেনসর সমান্তরাল থেকে পৃথক কারণ এটি মডেলটিকে বিভক্ত করে:
    • প্রতিটি স্তরের ভিতরে ম্যাট্রিক্স স্লাইস করা
    • প্রতিটি জিপিইউতে পুরো মডেলের নকল করা হচ্ছে
    • বিভিন্ন GPU-তে বিভিন্ন স্তর (পর্যায়) বরাদ্দ করা
    • কম নির্ভুলতার জন্য ওজন পরিমাপ করা
  4. কোন ZeRO পর্যায়টি মডেলের পরামিতিগুলিকে শার্ড করার মাধ্যমে সর্বাধিক মেমরি সঞ্চয় প্রদান করে?
    • পর্যায় 1
    • পর্যায় 2
    • পর্যায় 0
    • পর্যায় 3
  5. প্রশিক্ষণের সময় স্মৃতি সংরক্ষণের জন্য 'অ্যাক্টিভেশন চেকপয়েন্টিং' কি ব্যবসা করে?
    • ব্যাকওয়ার্ড পাসের সময় অ্যাক্টিভেশন পুনরায় গণনা করে অতিরিক্ত গণনা
    • মডেল নির্ভুলতা
    • নেটওয়ার্ক ব্যান্ডউইথ
    • স্তর সংখ্যা
  6. কেন এই কৌশলগুলিকে একত্রিত করাকে প্রায়শই '3D সমান্তরালতা' বলা হয়?
    • এটি শুধুমাত্র 3D গ্রাফিক্স কার্ডে কাজ করে
    • এটি তিনটি অক্ষ বরাবর ডেটা, টেনসর এবং পাইপলাইন সমান্তরালতাকে একত্রিত করে
    • এটি সর্বোচ্চ তিনটি জিপিইউ ব্যবহার করে
    • এটি তিনটি মাত্রায় মডেল রেন্ডার করে
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • পর্যায় 0
    • পর্যায় 2
    • পর্যায় 1
    • পর্যায় 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget