संरचित छंटाई और परत गिराना

संरचित प्रूनिंग तंत्रिका नेटवर्क के पूरे घटकों को हटा देती है, जैसे ध्यान प्रमुख, न्यूरॉन्स, या संपूर्ण परतें, इसलिए पतला मॉडल सामान्य हार्डवेयर पर तेजी से चलता है। परत गिराना सबसे आक्रामक संस्करण है, जो गहराई को कम करने के लिए पूर्ण ट्रांसफार्मर ब्लॉकों को हटा देता है।

पूरे सिर, न्यूरॉन्स, या परतों को हटाने से टेंसर आयाम सिकुड़ जाते हैं, इसलिए मानक सघन हार्डवेयर कम काम करता है, जबकि बिखरे हुए शून्य की अभी भी गणना की जाती है।

परत गिराने से पूरे ट्रांसफार्मर ब्लॉक हट जाते हैं, जिससे नेटवर्क की गहराई कम हो जाती है, जो संरचित छंटाई का सबसे आक्रामक रूप है।

यदि कोई परत बमुश्किल अवशिष्ट धारा (उच्च इनपुट-आउटपुट समानता) को बदलती है, तो यह बहुत कम योगदान देती है और हटाने योग्य उम्मीदवार है।

संक्षिप्त फाइन-ट्यूनिंग या आसवन से शेष वजन को काटी गई इकाइयों के कार्य को फिर से अवशोषित करने और अधिकांश खोई हुई गुणवत्ता को बहाल करने की सुविधा मिलती है।

किसी मुखिया के महत्व का अनुमान इस बात से लगाया जाता है कि जब उसे छुपाया जाता है तो नुकसान कितना बढ़ जाता है; कम-संवेदनशीलता वाले सिरों को पहले काट दिया जाता है।