RWKV রৈখিক মনোযোগ

It reformulates attention so there is no quadratic cost and no growing key-value cache.

RWKV (উচ্চারণ 'RwaKuv') মানে গ্রহণ, ওজন, কী, মান, এর চারটি মূল উপাদান। এটি মূলত বো পেং এর নেতৃত্বে একটি উন্মুক্ত, সম্প্রদায়-চালিত প্রকল্প হিসাবে তৈরি করা হয়েছিল। লক্ষ্য হল ট্রান্সফরমারগুলির সমান্তরাল প্রশিক্ষণযোগ্যতা বজায় রাখা এবং তাদের ব্যয়বহুল অনুমান বাদ দেওয়া। স্ট্যান্ডার্ড অ্যাটেনশন একটি মূল-মান ক্যাশে সঞ্চয় করে যা প্রতিটি টোকেনের সাথে বৃদ্ধি পায় এবং প্রতিটি নতুন টোকেনকে পূর্ববর্তী সকলের সাথে তুলনা করে। RWKV পরিবর্তে একটি ছোট স্থির-আকারের লুকানো অবস্থাকে এগিয়ে নিয়ে যায়, এটি একটি সময়-ক্ষয় নিয়মের সাথে আপডেট করে যাতে পুরানো তথ্য মসৃণভাবে বিবর্ণ হয়। প্রশিক্ষণের সময় এটি একটি সমান্তরাল আকারে আনরোল করা যেতে পারে; প্রজন্মের সময় এটি একটি RNN হিসাবে কাজ করে যা স্থির খরচে এক সময়ে একটি টোকেন তৈরি করে। এটি দীর্ঘ প্রসঙ্গ এবং সম্পদ-সীমিত স্থাপনার জন্য এটিকে আকর্ষণীয় করে তোলে।