राज्य अंतरिक्ष मॉडल और मांबा

Mamba is the 2023 architecture that made SSMs competitive with Transformers by letting that state-update process depend on the input, unlocking efficient handling of very long sequences.

एक राज्य अंतरिक्ष मॉडल एक अनुक्रम को चरण दर चरण संसाधित करता है, एक छिपी हुई स्थिति को बनाए रखता है जो अब तक देखी गई हर चीज का सारांश देता है। प्रत्येक स्थिति में यह सीखे गए मैट्रिक्स (अक्सर ए, बी, सी लेबल) द्वारा शासित एक रैखिक पुनरावृत्ति के साथ स्थिति को अद्यतन करता है और एक आउटपुट उत्सर्जित करता है। एस4 जैसे संरचित एसएसएम की सफलता यह दिखा रही थी कि इस पुनरावृत्ति को एक लंबे कनवल्शन के रूप में अनियंत्रित किया जा सकता है और समानांतर हार्डवेयर पर कुशलता से प्रशिक्षित किया जा सकता है। मांबा का मुख्य नवाचार चयनात्मकता है: यह वर्तमान इनपुट के बी, सी और चरण-आकार पैरामीटर फ़ंक्शन बनाता है, इसलिए मॉडल गतिशील रूप से यह तय कर सकता है कि प्रत्येक टोकन पर क्या याद रखना है और क्या अनदेखा करना है। यह इनपुट-निर्भरता सरल कनवल्शन का त्याग करती है लेकिन हार्डवेयर-जागरूक समानांतर स्कैन के साथ पुनर्प्राप्त की जाती है, जो रैखिक-समय प्रशिक्षण और निरंतर-मेमोरी, तेज़ अनुमान देती है।