گروپ شدہ سوال کی توجہ

It makes large models much faster to serve with almost no quality loss.

ایک معیاری ملٹی ہیڈ توجہ کی پرت میں، ہر سر کے اپنے سوالات، کلیدیں اور قدریں ہوتی ہیں۔ جنریشن کے دوران، تمام پچھلے ٹوکنز کی کلیدیں اور قدریں کیش کی جاتی ہیں ('KV کیشے') اس لیے ماڈل ان کی دوبارہ گنتی نہیں کرتا ہے۔ بہت سے سروں اور طویل سیاق و سباق کے ساتھ، یہ کیش بہت بڑا ہو جاتا ہے اور قیاس کے وقت میموری بینڈوڈتھ پر حاوی ہوتا ہے۔ GQA، 2023 میں Google محققین کے ذریعے متعارف کرایا گیا، استفسار کے سروں کو گروپ کرتا ہے اور ہر گروپ کو کلید اور ویلیو ہیڈز کا ایک مشترکہ سیٹ دیتا ہے۔ اگر آپ کے پاس 32 سوالات کے سر ہیں لیکن صرف 8 KV گروپس ہیں تو KV کیش تقریباً چار گنا سکڑ جاتا ہے۔ یہ مکمل ملٹی ہیڈ توجہ (ہر سر الگ) اور کثیر استفسار توجہ (تمام ہیڈز کے لیے ایک مشترکہ KV) کے درمیان بیٹھتا ہے، معیار کو پوری توجہ کے قریب رکھتے ہوئے MQA کی زیادہ تر رفتار حاصل کرتا ہے۔ Llama 2 70B اور بعد کے کئی ماڈلز نے اسے اپنایا۔