ज़ीरो और शेयर्ड ऑप्टिमाइज़र क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. सादे डेटा समानता की तुलना में ज़ीरो किस अतिरेक को समाप्त करता है?
   • प्रत्येक GPU पर ऑप्टिमाइज़र स्थिति, ग्रेडिएंट और पैरामीटर की पूर्ण प्रतियां डुप्लिकेट करें
   • प्रत्येक जीपीयू पर प्रशिक्षण डेटा की डुप्लिकेट प्रतियां
   • नोड्स के बीच अनावश्यक नेटवर्क केबल
   • बार-बार फॉरवर्ड एक ही बैच के ऊपर से गुजरता है
2. ऑप्टिमाइज़र स्थिति अक्सर एडम के साथ सबसे बड़ी मेमोरी हॉग क्यों होती है?
   • एडम कोई अतिरिक्त राज्य संग्रहीत नहीं करता है
   • एडम अतिरिक्त प्रति-पैरामीटर मान (जैसे गति और विचरण) रखता है, अक्सर मॉडल आकार से कई गुना अधिक
   • एडम संपूर्ण डेटासेट की नकल करता है
   • एडम को हर अतीत के ग्रेडिएंट को हमेशा के लिए संग्रहीत करने की आवश्यकता है
3. ज़ीरो स्टेज 3 शार्ड क्या करता है जो स्टेज 1 और 2 नहीं करता है?
   • प्रशिक्षण डेटा
   • हानि समारोह
   • मॉडल पैरामीटर स्वयं
   • सीखने की दर अनुसूची
4. ज़ीरो स्टेज 3 में, एक जीपीयू को एक परत के फॉरवर्ड पास के लिए आवश्यक पूर्ण पैरामीटर कैसे मिलते हैं?
   • इसे कभी भी पूर्ण मापदंडों की आवश्यकता नहीं होती है
   • यह उन्हें इंटरनेट से डाउनलोड करता है
   • यह हर बार शुरुआत से उनकी पुनः गणना करता है
   • यह गायब स्लाइसों को इकट्ठा करने के लिए एक संपूर्ण कार्य करता है, फिर बाद में उन्हें त्याग देता है
5. कौन सा PyTorch फीचर मूल रूप से ज़ीरो-स्टाइल शार्डिंग को लागू करता है?
   • एफएसडीपी (पूरी तरह से साझा डेटा समानांतर)
   • डेटा लोडर
   • टार्चस्क्रिप्ट
   • ऑटोग्रैड
6. मेमोरी को बचाने के लिए ज़ीरो द्वारा किया जाने वाला मुख्य ट्रेडऑफ़ क्या है?
   • यह गति के लिए मॉडल सटीकता का त्याग करता है
   • यह आवश्यकतानुसार टुकड़ों को इकट्ठा करने और बिखेरने के लिए अतिरिक्त संचार जोड़ता है
   • यह मॉडल से परतें हटा देता है
   • यह केवल बहुत छोटे मॉडलों के साथ काम करता है
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients