গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

গ্রেডিয়েন্ট অ্যাকুমুলেশন কুইজ

মাইক্রো-ব্যাচ গ্রেডিয়েন্ট সমষ্টি, কার্যকর ব্যাচের আকার, ক্ষতি স্কেলিং, অপ্টিমাইজার টাইমিং, স্বাভাবিককরণের সীমা এবং অকাল রিসেট ত্রুটি পরীক্ষা করুন।

সম্পর্কিত গাইড পাথগ্রেডিয়েন্ট জমা
প্রশ্ন 1 এর 8

গ্রেডিয়েন্ট জমে প্রাথমিকভাবে আপনাকে কী করতে দেয়?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. গ্রেডিয়েন্ট জমে প্রাথমিকভাবে আপনাকে কী করতে দেয়?
    • কোন GPU ছাড়াই ট্রেন
    • পিছনের পাসটি এড়িয়ে যান
    • সীমিত মেমরিতে একটি বড় কার্যকর ব্যাচের আকার অনুকরণ করুন
    • অপ্টিমাইজার সম্পূর্ণরূপে বাদ দিন
  2. মাইক্রো-ব্যাচ আকার 4 এবং 8 সঞ্চয় পদক্ষেপের সাথে, কার্যকর ব্যাচের আকার হল:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • প্রতিটি মাইক্রো-ব্যাচের পরে
    • কখনই না
    • ফরোয়ার্ড পাসের আগে
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. কার্যকর শেখার হার সঠিক রাখতে, প্রতি-মাইক্রো-ব্যাচ ক্ষতি সাধারণত:
    • N দ্বারা গুণিত
    • সঞ্চয় ধাপের সংখ্যা দ্বারা ভাগ N
    • শূন্যে সেট করুন
    • নির্ভুলতার সাথে প্রতিস্থাপিত
  5. কোন স্বাভাবিককরণ স্তর গ্রেডিয়েন্ট সঞ্চয়নের সাথে আরও পরিষ্কারভাবে জোড়া দেয়?
    • স্তর বা গোষ্ঠী স্বাভাবিককরণ, যেহেতু তারা ব্যাচ পরিসংখ্যানের উপর নির্ভর করে না
    • ব্যাচ স্বাভাবিককরণ, কারণ এটি ছোট ব্যাচ পছন্দ করে
    • এটির সাথে কোনও স্বাভাবিককরণ কাজ করে না
    • শুধু ড্রপআউট
  6. গ্রেডিয়েন্ট সঞ্চয় ব্যবহার করার প্রধান খরচ হল:
    • বেশি জিপিইউ মেমরি পিক এ ব্যবহৃত হয়
    • সমস্ত গ্রেডিয়েন্টের ক্ষতি
    • কার্যকরী আপডেটের জন্য দীর্ঘতর ওয়াল-ক্লক সময়
    • একটি অপ্টিমাইজার ব্যবহার করতে অক্ষমতা
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch