तकनीकी गाइड
ग्रेडियंट चेकपॉइंटिंग
ग्रेडिएंट चेकपॉइंटिंग (जिसे एक्टिवेशन चेकपॉइंटिंग भी कहा जाता है) एक मेमोरी-सेविंग ट्रिक है जो फॉरवर्ड पास के दौरान अधिकांश मध्यवर्ती सक्रियणों को हटा देती है और बैकप्रॉपैगेशन के दौरान उन्हें तुरंत पुन: गणना करती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It lets you train deeper, larger networks by trading extra compute for much lower memory use.
गहरा गोता
Training normally retains intermediate activations needed for backpropagation. Activation checkpointing saves selected boundary tensors and recomputes internal activations during backward. This trades additional computation for a lower activation-memory footprint; the actual savings and runtime overhead depend on checkpoint placement, operations, model graph, and hardware. In a simplified chain of N similarly sized layers, a textbook schedule with checkpoint boundaries spaced about sqrt(N) layers apart can reduce activation storage to order sqrt(N) checkpoints, with recomputation cost governed by that schedule. This asymptotic example is not a universal prediction for framework implementations. PyTorch exposes activation-checkpointing utilities, and its current guidance also describes selective rematerialization and compiler-assisted choices. It can combine with FSDP and mixed precision, but benchmark the full training workload.
वास्तविक विश्व कार्यान्वयन
परत सक्रियणों को त्यागकर और पुन: गणना करके एकल जीपीयू पर बड़े बैच आकार के साथ एक गहरे ट्रांसफार्मर को प्रशिक्षित करना।
उच्च-रिज़ॉल्यूशन छवियों पर फ़ाइन-ट्यूनिंग विज़न मॉडल जहां सक्रियण मानचित्र अन्यथा जीपीयू मेमोरी को ओवरफ्लो कर देंगे।
फ़ाइन-ट्यूनिंग के दौरान बिलियन-पैरामीटर मॉडल को फिट करने के लिए ग्रेडिएंट_चेकपॉइंटिंग = ट्रू को सक्षम करने वाले हगिंग फेस ट्रांसफॉर्मर।
एफएसडीपी के साथ चेकपॉइंटिंग का संयोजन ताकि पैरामीटर और सक्रियण दोनों को छोटा रखा जा सके, जिससे बहुत बड़े भाषा मॉडल का प्रशिक्षण संभव हो सके।
ग्रेडिएंट चेकपॉइंटिंग का भविष्य
बड़े-मॉडल प्रशिक्षण में ग्रेडिएंट चेकपॉइंटिंग अब मानक है और तेजी से स्वचालित हो रही है, पुस्तकालय आपके लिए इष्टतम चेकपॉइंट स्थानों का चयन करते हैं। यह स्वाभाविक रूप से एफएसडीपी, मिश्रित परिशुद्धता और मॉडल आकार को ऊंचा करने के लिए ऑफलोडिंग के साथ जुड़ता है। 'चयनात्मक' चेकपॉइंटिंग की अपेक्षा करें जो महंगे ऑपरेशनों (जैसे ध्यान मैट्रिक्स) को कैश्ड रखते हुए केवल सस्ते ऑपरेशनों की पुनर्गणना करता है, साथ ही PyTorch के टॉर्च.कंपाइल जैसे टूल में कंपाइलर-संचालित दृष्टिकोण जो स्वचालित रूप से तय करते हैं कि सर्वोत्तम गति-मेमोरी संतुलन के लिए क्या सहेजना है बनाम पुनर्गणना करना है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Gradient Checkpointing quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Gradient Checkpointing?
ग्रेडिएंट चेकपॉइंटिंग (जिसे एक्टिवेशन चेकपॉइंटिंग भी कहा जाता है) एक मेमोरी-सेविंग ट्रिक है जो फॉरवर्ड पास के दौरान अधिकांश मध्यवर्ती सक्रियणों को हटा देती है और बैकप्रॉपैगेशन के दौरान उन्हें तुरंत पुन: गणना करती है। यह आपको बहुत कम मेमोरी उपयोग के लिए अतिरिक्त गणना करके गहरे, बड़े नेटवर्क को प्रशिक्षित करने की सुविधा देता है।
स्मृति को बचाने के लिए ग्रेडिएंट चेकपॉइंटिंग मुख्य रूप से क्या व्यापार करती है?
ग्रेडियंट चेकपॉइंटिंग बैकवर्ड पास के दौरान छोड़ी गई सक्रियणों की पुन: गणना करता है, काफी हद तक कम हुई मेमोरी के बदले में अतिरिक्त गणना खर्च करता है।
फ़ॉरवर्ड पास के दौरान सक्रियण सामान्यतः क्यों संग्रहीत किए जाते हैं?
बैकप्रॉप फ़ॉरवर्ड पास से मध्यवर्ती सक्रियणों का उपयोग करके ग्रेडिएंट की गणना करता है, इसलिए उन्हें तब तक उपलब्ध होना चाहिए जब तक कि उनकी पुन: गणना न की जाए।
In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
The square-root schedule is a theoretical result for a simplified sequential computation graph, not a universal implementation guarantee.
What most determines gradient-checkpointing runtime overhead in a practical model?
Recomputation overhead varies with checkpoint policy and the cost of operations selected for recomputation.
PyTorch में, मॉड्यूल में ग्रेडिएंट चेकपॉइंटिंग लागू करने के लिए आमतौर पर किस उपयोगिता का उपयोग किया जाता है?
टॉर्च.यूटिल्स.चेकपॉइंट एक मॉड्यूल को लपेटता है ताकि इसकी आंतरिक सक्रियता को संग्रहीत करने के बजाय बैकवर्ड के दौरान पुन: गणना की जा सके।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं