মাল্টি-হেড সুপ্ত মনোযোগ

It lets large language models run with far less GPU memory while keeping quality close to standard attention.

যখন একটি ট্রান্সফরমার টেক্সট তৈরি করে, তখন এটি একটি 'কেভি ক্যাশে' প্রতিটি অতীত টোকেনের জন্য একটি কী এবং মান ভেক্টর সংরক্ষণ করে। সেই ক্যাশে প্রসঙ্গ দৈর্ঘ্যের সাথে বৃদ্ধি পায় এবং অনুমানের সময় মেমরির ব্যবহারকে প্রাধান্য দেয়। এমএলএ প্রতি টোকেন প্রতি একটি একক নিম্ন-র্যাঙ্কের সুপ্ত ভেক্টর দিয়ে অনেকগুলি পূর্ণ-আকার কী/মান ভেক্টর প্রতিস্থাপন করে, তারপরে প্রজেক্ট করে যেগুলি প্রতি-হেড কী এবং ফ্লাইতে মানগুলিতে ফিরে আসে। যেহেতু শুধুমাত্র কমপ্যাক্ট ল্যাটেন্ট ক্যাশে করা হয়েছে, ডিপসিক-ভি2 রিপোর্ট করেছে যে কেভি-ক্যাশে মেমরি 90% কম হয়েছে বনাম স্ট্যান্ডার্ড মাল্টি-হেড অ্যাটেনশন, দীর্ঘ প্রসঙ্গ এবং বড় ব্যাচের আকার সক্ষম করে। গুরুত্বপূর্ণভাবে, আপ-প্রোজেকশন ম্যাট্রিক্সগুলিকে অন্যান্য ওজনে ভাঁজ করা যেতে পারে, তাই এমএলএ মডেলিং মানের সামান্য বা কোন পরিমাপযোগ্য ক্ষতি ছাড়াই এই কম্প্রেশন অর্জন করে।