দলবদ্ধ-কোয়েরি মনোযোগ

It makes large models much faster to serve with almost no quality loss.

একটি স্ট্যান্ডার্ড মাল্টি-হেড অ্যাটেনশন লেয়ারে, প্রতিটি হেডের নিজস্ব প্রশ্ন, কী এবং মান থাকে। প্রজন্মের সময়, সমস্ত পূর্ববর্তী টোকেনের কী এবং মানগুলি ক্যাশে করা হয় ('কেভি ক্যাশে') তাই মডেলটি তাদের পুনরায় গণনা করে না। অনেক মাথা এবং দীর্ঘ প্রসঙ্গ সহ, এই ক্যাশে বিশাল হয়ে ওঠে এবং অনুমান সময়ে মেমরি ব্যান্ডউইথকে প্রাধান্য দেয়। GQA, 2023 সালে Google গবেষকদের দ্বারা প্রবর্তিত, ক্যোয়ারী হেডগুলিকে গোষ্ঠীভুক্ত করে এবং প্রতিটি গোষ্ঠীকে একক ভাগ করা কী এবং মান প্রধানের সেট দেয়৷ আপনার যদি 32টি ক্যোয়ারী হেড থাকে কিন্তু শুধুমাত্র 8 KV গ্রুপ থাকে, তাহলে KV ক্যাশে মোটামুটি চারগুণ সঙ্কুচিত হয়। এটি সম্পূর্ণ মাল্টি-হেড অ্যাটেনশন (প্রতিটি মাথা আলাদা) এবং মাল্টি-কোয়ারি অ্যাটেনশন (সব হেডের জন্য একটি শেয়ার্ড কেভি) এর মধ্যে বসে, গুণমানকে সম্পূর্ণ মনোযোগের কাছাকাছি রেখে MQA-এর বেশিরভাগ গতি ক্যাপচার করে। Llama 2 70B এবং পরবর্তী অনেক মডেল এটি গ্রহণ করেছে।