لکیری توجہ اور پرفارمر دانا کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. معیاری سافٹ میکس توجہ ترتیب کی لمبائی کے ساتھ خراب کیوں ہے؟
   • اس کا وقت اور یادداشت ترتیب کی لمبائی کے مربع کے ساتھ بڑھتی ہے۔
   • اس کے لیے تمام ٹوکنز کو حروف تہجی کے مطابق ترتیب دینے کی ضرورت ہے۔
   • یہ ایک وقت میں صرف ایک ٹوکن پر کارروائی کر سکتا ہے۔
   • اسے فی ٹوکن ایک الگ نیورل نیٹ ورک کی ضرورت ہے۔
2. کون سی ریاضیاتی خاصیت لکیری توجہ کو n-by-n میٹرکس سے بچنے دیتی ہے؟
   • اضافے کی commutativity
   • میٹرکس ضرب کی ایسوسی ایٹیوٹی
   • سافٹ میکس کا تقسیمی قانون
   • Eigenvalue سڑنا
3. پرفارمر کے FAVOR+ میکانزم کا تخمینہ کیا ہے؟
   • گریڈینٹ ڈیسنٹ اپ ڈیٹس
   • ٹوکنائزر الفاظ کا ذخیرہ
   • سافٹ میکس توجہ کا دانا
   • پرت کو معمول پر لانے کے اعدادوشمار
4. پرفارمر پہلے کی مثلثی خصوصیات کے بجائے مثبت بے ترتیب خصوصیات کیوں استعمال کرتا ہے؟
   • وہ صرف CPUs پر تیزی سے چلتے ہیں۔
   • وہ کسی بھی بے ترتیبی کی ضرورت کو ختم کرتے ہیں۔
   • وہ ماڈل کو مکمل طور پر قابل تشریح بناتے ہیں۔
   • وہ غیر منفی توجہ کے وزن کی ضمانت دیتے ہیں اور عددی استحکام کو بہتر بناتے ہیں۔
5. ترتیب کی لمبائی n میں پرفارمر طرز کی لکیری توجہ کی تخمینی پیچیدگی کیا ہے؟
   • O(n)
   • O(n^2)
   • O(n log n)
   • O(2^n)
6. مکمل softmax توجہ کے مقابلے میں خالص لکیری توجہ کی ایک عام حد کیا ہے؟
   • یہ GPUs پر نہیں چل سکتا
   • یہ اکثر ماڈلنگ کا تھوڑا کم معیار حاصل کرتا ہے۔
   • یہ صرف تصاویر کے لیے کام کرتا ہے۔
   • اسے ہر ٹوکن کے لیے لیبل والے ڈیٹا کی ضرورت ہوتی ہے۔
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate