গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
গ্রেডিয়েন্ট অ্যাকুমুলেশন কুইজ
মাইক্রো-ব্যাচ গ্রেডিয়েন্ট সমষ্টি, কার্যকর ব্যাচের আকার, ক্ষতি স্কেলিং, অপ্টিমাইজার টাইমিং, স্বাভাবিককরণের সীমা এবং অকাল রিসেট ত্রুটি পরীক্ষা করুন।
প্রশ্ন 1 এর 8
গ্রেডিয়েন্ট জমে প্রাথমিকভাবে আপনাকে কী করতে দেয়?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- গ্রেডিয়েন্ট জমে প্রাথমিকভাবে আপনাকে কী করতে দেয়?
- কোন GPU ছাড়াই ট্রেন
- পিছনের পাসটি এড়িয়ে যান
- সীমিত মেমরিতে একটি বড় কার্যকর ব্যাচের আকার অনুকরণ করুন
- অপ্টিমাইজার সম্পূর্ণরূপে বাদ দিন
- মাইক্রো-ব্যাচ আকার 4 এবং 8 সঞ্চয় পদক্ষেপের সাথে, কার্যকর ব্যাচের আকার হল:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- প্রতিটি মাইক্রো-ব্যাচের পরে
- কখনই না
- ফরোয়ার্ড পাসের আগে
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- কার্যকর শেখার হার সঠিক রাখতে, প্রতি-মাইক্রো-ব্যাচ ক্ষতি সাধারণত:
- N দ্বারা গুণিত
- সঞ্চয় ধাপের সংখ্যা দ্বারা ভাগ N
- শূন্যে সেট করুন
- নির্ভুলতার সাথে প্রতিস্থাপিত
- কোন স্বাভাবিককরণ স্তর গ্রেডিয়েন্ট সঞ্চয়নের সাথে আরও পরিষ্কারভাবে জোড়া দেয়?
- স্তর বা গোষ্ঠী স্বাভাবিককরণ, যেহেতু তারা ব্যাচ পরিসংখ্যানের উপর নির্ভর করে না
- ব্যাচ স্বাভাবিককরণ, কারণ এটি ছোট ব্যাচ পছন্দ করে
- এটির সাথে কোনও স্বাভাবিককরণ কাজ করে না
- শুধু ড্রপআউট
- গ্রেডিয়েন্ট সঞ্চয় ব্যবহার করার প্রধান খরচ হল:
- বেশি জিপিইউ মেমরি পিক এ ব্যবহৃত হয়
- সমস্ত গ্রেডিয়েন্টের ক্ষতি
- কার্যকরী আপডেটের জন্য দীর্ঘতর ওয়াল-ক্লক সময়
- একটি অপ্টিমাইজার ব্যবহার করতে অক্ষমতা
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch