توجہ رول آؤٹ اور سر کی کٹائی

Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.

ٹرانسفارمرز اپنے استدلال کو بہت سی تہوں میں بہت ساری توجہ کے سروں پر پھیلاتے ہیں، لہذا کسی ایک پرت کا توجہ کا نقشہ شاذ و نادر ہی پوری کہانی بیان کرتا ہے۔ 2020 میں Abnar اور Zuidema کے ذریعے متعارف کرایا گیا اٹینشن رول آؤٹ، توجہ میٹرکس کی تہہ کو تہہ کے لحاظ سے (بقیہ کنکشنز کے حساب کتاب کے بعد) کو ضرب دے کر اس کو درست کرتا ہے تاکہ یہ اندازہ لگایا جا سکے کہ ہر ایک ان پٹ ٹوکن بالآخر کسی دیے گئے آؤٹ پٹ ٹوکن میں کتنا حصہ ڈالتا ہے۔ الگ سے، مشیل اور ساتھیوں جیسی تحقیق 'کیا سولہ سر واقعی ایک سے بہتر ہیں؟' ظاہر ہوا کہ بہت سے سر بے کار ہیں: درستگی کے نہ ہونے کے برابر نقصان کے ساتھ ایک بڑے حصے کو تخمینہ کے وقت کاٹا جا سکتا ہے۔ سر کی کٹائی اہمیت کے لحاظ سے سروں کی درجہ بندی کرتی ہے، اکثر تدریجی بنیاد پر حساسیت کے اسکور استعمال کرتے ہیں، پھر کم سے کم مفید کو ماسک کرتے ہیں۔ دو تکنیکیں ایک دوسرے کے ساتھ ہیں: رول آؤٹ سے پتہ چلتا ہے کہ نیٹ ورک کے کون سے حصے تشریح کے لیے اہمیت رکھتے ہیں، اور ماڈلز کو چھوٹا اور تیز تر بنانے کے لیے فالتو پن پر عمل کرتا ہے۔