परत सामान्यीकरण

परत सामान्यीकरण प्रत्येक व्यक्तिगत उदाहरण के भीतर सक्रियणों को पुन: स्केल करके प्रशिक्षण को स्थिर करता है ताकि उनके पास शून्य माध्य और इकाई भिन्नता हो। यह एक शांत लेकिन आवश्यक घटक है जो गहरे ट्रांसफार्मर को प्रशिक्षित करने योग्य बनाता है।

लेयरनॉर्म एक व्यक्तिगत नमूने के फीचर आयामों को सामान्यीकृत करता है, जिससे यह बैच में अन्य उदाहरणों से स्वतंत्र हो जाता है।

क्योंकि इसके आँकड़े एक ही उदाहरण से आते हैं, लेयरनॉर्म बैच आकार की परवाह किए बिना लगातार व्यवहार करता है और चर-लंबाई वाले पाठ अनुक्रमों के अनुरूप होता है।

शून्य माध्य और इकाई विचरण को सामान्य करने के बाद, गामा स्केल और बीटा परिणाम को बदल देते हैं ताकि मॉडल को एक निश्चित वितरण में मजबूर न किया जाए।

RMSNorm सक्रियणों के मूल-माध्य-वर्ग द्वारा माध्य-केंद्रित चरण और पैमानों को छोड़ देता है, जो सस्ता है और लामा जैसे मॉडलों में उपयोग किया जाता है।

जैसे ही सिग्नल कई परतों से गुजरते हैं, उनका स्केल उड़ सकता है या सिकुड़ सकता है; सामान्यीकरण सक्रियता को स्थिर सीमा में रखता है इसलिए ग्रेडिएंट अच्छा व्यवहार करते हैं।