প্রযুক্তিগত গাইড
গ্রেডিয়েন্ট চেকপয়েন্টিং
গ্রেডিয়েন্ট চেকপয়েন্টিং (এটিকে অ্যাক্টিভেশন চেকপয়েন্টিংও বলা হয়) হল একটি মেমরি-সেভিং ট্রিক যা ফরওয়ার্ড পাসের সময় বেশিরভাগ মধ্যবর্তী অ্যাক্টিভেশনগুলিকে দূরে ফেলে দেয় এবং ব্যাকপ্রোপাগেশনের সময় ফ্লাইতে তাদের পুনরায় গণনা করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It lets you train deeper, larger networks by trading extra compute for much lower memory use.
গভীর ডুব
Training normally retains intermediate activations needed for backpropagation. Activation checkpointing saves selected boundary tensors and recomputes internal activations during backward. This trades additional computation for a lower activation-memory footprint; the actual savings and runtime overhead depend on checkpoint placement, operations, model graph, and hardware. In a simplified chain of N similarly sized layers, a textbook schedule with checkpoint boundaries spaced about sqrt(N) layers apart can reduce activation storage to order sqrt(N) checkpoints, with recomputation cost governed by that schedule. This asymptotic example is not a universal prediction for framework implementations. PyTorch exposes activation-checkpointing utilities, and its current guidance also describes selective rematerialization and compiler-assisted choices. It can combine with FSDP and mixed precision, but benchmark the full training workload.
বাস্তব-বিশ্ব বাস্তবায়ন
লেয়ার অ্যাক্টিভেশনগুলি বাতিল এবং পুনরায় গণনা করে একটি একক GPU-তে একটি বড় ব্যাচের আকার সহ একটি গভীর ট্রান্সফরমারকে প্রশিক্ষণ দেওয়া।
উচ্চ-রেজোলিউশনের চিত্রগুলিতে ফাইন-টিউনিং ভিশন মডেল যেখানে অ্যাক্টিভেশন মানচিত্রগুলি অন্যথায় GPU মেমরি উপচে পড়বে।
আলিঙ্গন করা ফেস ট্রান্সফরমারগুলি গ্রেডিয়েন্ট_চেকপয়েন্টিং সক্ষম করে = সূক্ষ্ম-টিউনিংয়ের সময় বিলিয়ন-প্যারামিটার মডেলগুলিকে ফিট করতে সত্য৷
FSDP-এর সাথে চেকপয়েন্টিংকে একত্রিত করা যাতে প্যারামিটার এবং অ্যাক্টিভেশন উভয়ই ছোট রাখা হয়, খুব বড় ভাষা মডেলের প্রশিক্ষণ সক্ষম করে।
গ্রেডিয়েন্ট চেকপয়েন্টিংয়ের ভবিষ্যত
গ্রেডিয়েন্ট চেকপয়েন্টিং এখন বড়-মডেল প্রশিক্ষণে আদর্শ এবং ক্রমবর্ধমান স্বয়ংক্রিয় হচ্ছে, লাইব্রেরিগুলি আপনার জন্য সর্বোত্তম চেকপয়েন্ট অবস্থান নির্বাচন করে। এটি স্বাভাবিকভাবেই FSDP, মিশ্র নির্ভুলতা এবং মডেলের আকারকে উচ্চতর করার জন্য অফলোডিংয়ের সাথে যুক্ত করে। 'নির্বাচিত' চেকপয়েন্টিং আশা করুন যা ব্যয়বহুলগুলি (যেমন মনোযোগ ম্যাট্রিক্স) ক্যাশে রাখার সময় শুধুমাত্র সস্তা অপারেশনগুলিকে পুনরায় গণনা করে, এছাড়াও PyTorch-এর torch.compile-এর মতো সরঞ্জামগুলিতে কম্পাইলার-চালিত পদ্ধতিগুলি যা স্বয়ংক্রিয়ভাবে সিদ্ধান্ত নেয় যে সেরা স্পিড-মেমরি ব্যালেন্সের জন্য কী সংরক্ষণ করতে হবে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Gradient Checkpointing quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Gradient Checkpointing?
গ্রেডিয়েন্ট চেকপয়েন্টিং (এটিকে অ্যাক্টিভেশন চেকপয়েন্টিংও বলা হয়) হল একটি মেমরি-সেভিং ট্রিক যা ফরওয়ার্ড পাসের সময় বেশিরভাগ মধ্যবর্তী অ্যাক্টিভেশনগুলিকে দূরে ফেলে দেয় এবং ব্যাকপ্রোপাগেশনের সময় ফ্লাইতে তাদের পুনরায় গণনা করে। এটি আপনাকে অনেক কম মেমরি ব্যবহারের জন্য অতিরিক্ত কম্পিউট ট্রেড করার মাধ্যমে গভীরতর, বৃহত্তর নেটওয়ার্ক প্রশিক্ষণ দিতে দেয়।
মেমরি সংরক্ষণ করার জন্য গ্রেডিয়েন্ট চেকপয়েন্টিং প্রাথমিকভাবে কি ব্যবসা করে?
গ্রেডিয়েন্ট চেকপয়েন্টিং ব্যাকওয়ার্ড পাসের সময় বাতিল করা অ্যাক্টিভেশনগুলি পুনরায় গণনা করে, যথেষ্ট পরিমাণে মেমরি হ্রাসের বিনিময়ে অতিরিক্ত গণনা ব্যয় করে।
কেন অ্যাক্টিভেশনগুলি সাধারণত ফরওয়ার্ড পাসের সময় সংরক্ষণ করা হয়?
ব্যাকপ্রপ ফরওয়ার্ড পাস থেকে মধ্যবর্তী অ্যাক্টিভেশন ব্যবহার করে গ্রেডিয়েন্ট গণনা করে, তাই সেগুলি অবশ্যই পাওয়া যাবে যদি না সেগুলি পুনরায় গণনা করা হয়।
In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
The square-root schedule is a theoretical result for a simplified sequential computation graph, not a universal implementation guarantee.
What most determines gradient-checkpointing runtime overhead in a practical model?
Recomputation overhead varies with checkpoint policy and the cost of operations selected for recomputation.
PyTorch-এ, কোন ইউটিলিটি সাধারণত একটি মডিউলে গ্রেডিয়েন্ট চেকপয়েন্টিং প্রয়োগ করতে ব্যবহৃত হয়?
torch.utils.checkpoint একটি মডিউল আবৃত করে তাই এর অভ্যন্তরীণ অ্যাক্টিভেশনগুলি সংরক্ষণের পরিবর্তে ব্যাকওয়ার্ডের সময় পুনরায় গণনা করা হয়।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড