স্টেট স্পেস মডেল এবং মাম্বা

স্টেট স্পেস মডেল (SSMs) হল সিকোয়েন্স মডেল যা সংকুচিত লুকানো অবস্থায় তথ্যকে এগিয়ে নিয়ে যায়, চতুর্মুখী মনোযোগের পরিবর্তে ক্রম দৈর্ঘ্যের সাথে রৈখিকভাবে স্কেলিং করে। Mamba হল 2023 সালের আর্কিটেকচার যা SSM-গুলিকে ট্রান্সফরমারগুলির সাথে প্রতিযোগিতামূলক করে তুলেছিল যেটি স্টেট-আপডেট প্রক্রিয়াটিকে ইনপুটের উপর নির্ভর করে, খুব দীর্ঘ সিকোয়েন্সের দক্ষ হ্যান্ডলিং আনলক করে।

একটি স্টেট স্পেস মডেল ধাপে ধাপে একটি ক্রম প্রক্রিয়া করে, একটি লুকানো অবস্থা বজায় রাখে যা এখন পর্যন্ত দেখা সমস্ত কিছুর সারসংক্ষেপ করে। প্রতিটি অবস্থানে এটি শেখা ম্যাট্রিক্স (প্রায়শই A, B, C লেবেলযুক্ত) দ্বারা নিয়ন্ত্রিত একটি রৈখিক পুনরাবৃত্তি সহ অবস্থা আপডেট করে এবং একটি আউটপুট নির্গত করে। S4-এর মতো কাঠামোগত SSM-এর অগ্রগতি দেখাচ্ছিল যে এই পুনরাবৃত্তিকে একটি দীর্ঘ কনভল্যুশন হিসাবে আনরোল করা যেতে পারে এবং সমান্তরাল হার্ডওয়্যারে দক্ষতার সাথে প্রশিক্ষণ দেওয়া যেতে পারে। Mamba-এর মূল উদ্ভাবন হল নির্বাচনীতা: এটি বর্তমান ইনপুটের B, C, এবং ধাপ-আকারের পরামিতিগুলিকে কাজ করে, তাই মডেলটি গতিশীলভাবে সিদ্ধান্ত নিতে পারে যে প্রতিটি টোকেনে কী মনে রাখতে হবে এবং কী উপেক্ষা করতে হবে। এই ইনপুট-নির্ভরতা সাধারণ কনভল্যুশনকে উৎসর্গ করে কিন্তু একটি হার্ডওয়্যার-সচেতন সমান্তরাল স্ক্যানের মাধ্যমে পুনরুদ্ধার করা হয়, রৈখিক-সময় প্রশিক্ষণ এবং ধ্রুব-মেমরি, দ্রুত অনুমান প্রদান করে।