पूरी तरह से साझा डेटा समानांतर प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. एफएसडीपी जीपीयू पर क्या प्रभाव डालता है जो मानक डेटा समानता नहीं करता है?
   • पैरामीटर्स, ग्रेडिएंट्स और ऑप्टिमाइज़र स्थितियाँ
   • केवल इनपुट बैच
   • केवल सीखने की दर अनुसूची
   • डिस्क पर प्रशिक्षण डेटासेट फ़ाइलें
2. किसी परत की गणना करने से ठीक पहले उसके पूर्ण भार का पुनर्निर्माण करने के लिए एफएसडीपी किस सामूहिक ऑपरेशन का उपयोग करता है?
   • केवल प्रसारण
   • सब इकट्ठा
   • बिखराव
   • बाधा
3. एफएसडीपी एक परत की गणना के तुरंत बाद एकत्रित पूर्ण वजन को मुक्त क्यों कर देता है?
   • अप्रयुक्त ग्रेडियेंट को भ्रष्ट करने के लिए
   • धीमे प्रशिक्षण पाश को बाध्य करने के लिए
   • स्थायी मेमोरी फ़ुटप्रिंट को प्रति डिवाइस केवल एक शार्ड तक रखने के लिए
   • क्योंकि PyTorch उन्हें यादृच्छिक रूप से हटा देता है
4. एफएसडीपी काफी हद तक किस पूर्ववर्ती मेमोरी-ऑप्टिमाइज़ेशन दृष्टिकोण से प्रेरित था?
   • Google का MapReduce
   • अपाचे स्पार्क आरडीडी
   • NVIDIA के CUDA कोर
   • Microsoft का ज़ीरो (ज़ीरो रिडंडेंसी ऑप्टिमाइज़र)
5. एफएसडीपी नेटवर्क विलंबता के अधिकांश भाग को भार एकत्रित करने से कैसे छुपाता है?
   • गणना के साथ संचार को ओवरलैप करके, अगली परत के मापदंडों को प्रीफ़ेच करना
   • बैकवर्ड पास को अक्षम करके
   • वज़न को एक बिट तक संपीड़ित करके
   • केवल सीपीयू पर प्रशिक्षण द्वारा
6. कौन सा सामूहिक ऑपरेशन संयुक्त ग्रेडिएंट स्लाइस को बैकवर्ड पास में उनके स्वयं के जीपीयू में वितरित करता है?
   • सर्व-से-सर्व नकल
   • घटाओ-बिखराओ
   • सिंगल-जीपीयू कॉपी
   • केवल इकट्ठा करें
7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
   • It removes all model parameters during training
   • It converts optimizer states into network requests
   • Each rank stores a shard of model state instead of a full copy
   • It places every activation permanently on the CPU
8. What is a central systems tradeoff in FSDP?
   • Lower memory and no communication at any point
   • More replicated parameters in exchange for fewer data samples
   • Replacing training with inference
   • Lower per-device memory use in exchange for collective communication