माम्बा और चयनात्मक राज्य स्थान

माम्बा राज्य अंतरिक्ष मॉडल (एसएसएम) पर निर्मित एक अनुक्रम मॉडल है जो रैखिक समय में पाठ को संसाधित करता है, जो ट्रांसफार्मर के द्विघात ध्यान के लिए एक तेज़ विकल्प प्रदान करता है। इसकी मुख्य चाल मॉडल को इनपुट के आधार पर चयनात्मक रूप से यह निर्णय लेने पर मजबूर कर रही है कि क्या याद रखना है और क्या भूलना है।

मांबा सभी जोड़ियों में टोकन तुलना से बचती है, इसलिए इसकी लागत ध्यान की तरह चतुष्कोणीय रूप से बढ़ने के बजाय अनुक्रम लंबाई के साथ रैखिक रूप से बढ़ती है।

चयनात्मकता का अर्थ है कि बी, सी और डेल्टा जैसे पैरामीटर वर्तमान इनपुट के फ़ंक्शन बन जाते हैं, जिससे सामग्री-जागरूक मेमोरी मिलती है।

एसएसएम आवर्ती शैली के मॉडल हैं जो आरएनएन के समान अतीत को एक निश्चित आकार की स्थिति में बदल देते हैं।

कनवल्शन दृश्य के लिए निश्चित (समय-अपरिवर्तनीय) मापदंडों की आवश्यकता होती है; इनपुट-निर्भर पैरामीटर उसे तोड़ देते हैं, इसलिए मांबा इसके बजाय एक समानांतर स्कैन का उपयोग करती है।

मांबा एक हार्डवेयर-जागरूक चयनात्मक स्कैन का उपयोग करता है जो थ्रूपुट को पुनर्प्राप्त करने के लिए तेज़ एसआरएएम में मध्यवर्ती स्थिति रखता है।