গ্রেডিয়েন্ট জমা

সাধারণত একটি প্রশিক্ষণ পদক্ষেপ একটি ব্যাচ প্রক্রিয়া করে, গ্রেডিয়েন্ট গণনা করে এবং অবিলম্বে পরামিতি আপডেট করে। With gradient accumulation, you run several forward and backward passes on smaller micro-batches, adding their gradients together in the parameter buffers, and only call the optimizer step (and zero the gradients) after N micro-batches. কার্যকর ব্যাচের আকার মাইক্রো-ব্যাচের আকার N গুণে পরিণত হয়, যদিও পিক মেমরিতে শুধুমাত্র একটি মাইক্রো-ব্যাচ সক্রিয়করণ থাকে। This matters because many training recipes assume large batches for stable statistics, and because models like large transformers cannot fit a full target batch on a single device. The catch: batch-normalization statistics are computed per micro-batch, so layer norm or group norm pair better with accumulation, and you must scale the loss correctly to keep the effective learning rate right.