संरचित छंटाई और परत गिराने की प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. संरचित छंटाई से वास्तविक गति क्यों उत्पन्न होती है जबकि असंरचित छंटाई अक्सर नहीं होती?
   • संरचित छंटाई सुसंगत ब्लॉकों को हटा देती है जो वास्तव में टेंसर को सिकोड़ते हैं
   • असंरचित छंटाई से मॉडल का आकार बढ़ जाता है
   • संरचित छंटाई अधिक परतें जोड़ती है
   • असंरचित प्रूनिंग केवल सीपीयू पर काम करती है
2. ट्रांसफार्मर के संदर्भ में 'लेयर ड्रॉपिंग' क्या है?
   • प्रति परत सीखने की दर कम करना
   • मॉडल की गहराई कम करने के लिए पूरे ट्रांसफार्मर ब्लॉक को हटाना
   • प्रत्येक परत में ड्रॉपआउट जोड़ना
   • परतों को बेतरतीब ढंग से पुनः व्यवस्थित करना
3. कौन सा संकेत आमतौर पर इंगित करता है कि ट्रांसफार्मर परत को सुरक्षित रूप से गिराया जा सकता है?
   • परत में सबसे अधिक पैरामीटर हैं
   • परत नेटवर्क में पहली है
   • परत की इनपुट और आउटपुट छिपी हुई स्थितियाँ बहुत समान हैं
   • यह परत सबसे अधिक मेमोरी का उपयोग करती है
4. संरचित छंटाई के बाद आमतौर पर कौन सा कदम सटीकता को पुनः प्राप्त करता है?
   • केवल बैच का आकार बढ़ाना
   • 16 बिट्स पर पुनः मात्रा निर्धारित करना
   • अधिक ध्यान प्रमुखों को जोड़ना
   • फाइन-ट्यूनिंग या ज्ञान आसवन का एक छोटा दौर
5. व्यक्तिगत ध्यान प्रमुखों को अक्सर काट-छाँट के लिए किस प्रकार क्रमबद्ध किया जाता है?
   • सिर ढकने पर हानि बढ़ने से (संवेदनशीलता)
   • वर्णानुक्रम से
   • शब्दावली में उनकी स्थिति से
   • उनके द्वारा देखे गए टोकन की संख्या से
6. आसवन के साथ संयुक्त रूप से संरचित छंटाई का प्रमुख व्यावहारिक उपयोग क्या है?
   • स्वचालित रूप से प्रशिक्षण डेटा उत्पन्न करना
   • एक बड़े चेकपॉइंट से छोटे, तेज़ मॉडलों का एक परिवार प्राप्त करना
   • मॉडल भार को एन्क्रिप्ट करना
   • संदर्भ विंडो की लंबाई बढ़ाना
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping