ZeRO এবং Sharded Optimizers কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. সমতল ডেটা সমান্তরালতার তুলনায় ZeRO কোন অপ্রয়োজনীয়তা দূর করে?
   • প্রতি GPU-তে অপ্টিমাইজার স্টেট, গ্রেডিয়েন্ট এবং প্যারামিটারের সম্পূর্ণ কপি ডুপ্লিকেট করুন
   • প্রতিটি GPU-তে প্রশিক্ষণের ডেটার নকল কপি
   • নোডের মধ্যে অপ্রয়োজনীয় নেটওয়ার্ক তারের
   • বারবার ফরোয়ার্ড একই ব্যাচের উপর দিয়ে যায়
2. কেন অপ্টিমাইজার রাষ্ট্র প্রায়ই অ্যাডাম সঙ্গে সবচেয়ে বড় মেমরি হগ?
   • আদম কোন অতিরিক্ত রাষ্ট্র এ সব সঞ্চয়
   • অ্যাডাম অতিরিক্ত প্রতি-প্যারামিটার মান রাখে (যেমন ভরবেগ এবং পার্থক্য), প্রায়শই মডেলের আকারের কয়েকগুণ
   • অ্যাডাম সম্পূর্ণ ডেটাসেট নকল করে
   • অ্যাডামের জন্য অতীতের প্রতিটি গ্রেডিয়েন্টকে চিরতরে সংরক্ষণ করতে হবে
3. ZeRO পর্যায় 3 কি শর্ড করে যা পর্যায় 1 এবং 2 করে না?
   • প্রশিক্ষণ তথ্য
   • ক্ষতি ফাংশন
   • মডেল পরামিতি নিজেদের
   • শেখার হার সময়সূচী
4. ZeRO পর্যায় 3-এ, একটি GPU কীভাবে একটি স্তরের ফরোয়ার্ড পাসের জন্য প্রয়োজনীয় সম্পূর্ণ প্যারামিটারগুলি পায়?
   • এটি সম্পূর্ণ পরামিতি প্রয়োজন হয় না
   • এটি ইন্টারনেট থেকে তাদের ডাউনলোড করে
   • এটা প্রতিবার স্ক্র্যাচ থেকে তাদের recomputes
   • এটি অনুপস্থিত স্লাইসগুলি সংগ্রহ করার জন্য একটি অল-গেদার করে, তারপরে সেগুলি পরে ফেলে দেয়
5. কোন PyTorch বৈশিষ্ট্য নেটিভভাবে ZeRO-স্টাইল শার্ডিং প্রয়োগ করে?
   • FSDP (পুরোপুরি ভাগ করা ডেটা সমান্তরাল)
   • ডেটালোডার
   • টর্চস্ক্রিপ্ট
   • অটোগ্রাড
6. মূল ট্রেডঅফ ZeRO মেমরি সংরক্ষণ করার জন্য তৈরি করে কি?
   • এটি গতির জন্য মডেল নির্ভুলতা ত্যাগ করে
   • এটি প্রয়োজন অনুযায়ী শার্ড সংগ্রহ এবং ছড়িয়ে দিতে অতিরিক্ত যোগাযোগ যোগ করে
   • এটি মডেল থেকে স্তরগুলি সরিয়ে দেয়
   • এটি শুধুমাত্র খুব ছোট মডেলের সাথে কাজ করে
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients