فلیش اٹینشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. فلیش توجہ کا ہدف کون سی اہم رکاوٹ ہے؟
   • GPU میموری کو سست کرنے کے لیے بڑے توجہ والے میٹرکس کو پڑھنا اور لکھنا
   • توجہ میں فلوٹنگ پوائنٹ ضرب کی تعداد
   • ڈسک سے ماڈل وزن لوڈ کرنے کی قیمت
   • متعدد GPUs کے درمیان نیٹ ورک میں تاخیر
2. فلیش اٹینشن مکمل N-by-N توجہ میٹرکس کو ذخیرہ کرنے سے کیسے بچتا ہے؟
   • یہ بے ترتیب تخمینوں کے ساتھ توجہ کا تخمینہ لگاتا ہے۔
   • یہ چھوٹی ٹائلوں میں سوالات، کلیدوں اور قدروں پر کارروائی کرتا ہے اور جزوی نتائج کو یکجا کرتا ہے۔
   • یہ زیادہ تر ٹوکن جوڑوں کو مکمل طور پر چھوڑ دیتا ہے۔
   • یہ کوانٹائزیشن کے ساتھ میٹرکس کو کمپریس کرتا ہے۔
3. کونسی تکنیک فلیش اٹینشن کو ایک ساتھ پوری قطار کو دیکھے بغیر سافٹ میکس کو درست طریقے سے حساب کرنے دیتی ہے؟
   • اکسپونینشلز کا ایک پہلے سے مرتب کردہ تلاش کا جدول
   • سافٹ میکس کو چھوڑنا اور لکیری تخمینہ استعمال کرنا
   • ایک رننگ (آن لائن) سافٹ میکس جو چلنے والے زیادہ سے زیادہ اور رقم کو ٹریک کرتا ہے۔
   • اسکور کو معمول پر لانے سے پہلے ترتیب دینا
4. معیاری توجہ کے مقابلے میں، فلیش اٹینشن کا آؤٹ پٹ یہ ہے:
   • ایک کھردرا تخمینہ جو رفتار کے لیے درستگی کا سودا کرتا ہے۔
   • زیادہ درستگی کی وجہ سے زیادہ درست
   • صرف مختصر سلسلے کے لیے درست ہے۔
   • ریاضیاتی طور پر یکساں، صرف زیادہ مؤثر طریقے سے شمار کیا جاتا ہے۔
5. فلیش دھیان طویل ترتیب کے ساتھ سب سے زیادہ مدد کیوں کرتا ہے؟
   • کیونکہ توجہ کی یادداشت ترتیب کی لمبائی کے ساتھ چوکور انداز میں بڑھتی ہے۔
   • کیونکہ طویل سلسلے کو کم تہوں کی ضرورت ہوتی ہے۔
   • کیونکہ طویل ان پٹ کے لیے softmax غیر ضروری ہو جاتا ہے۔
   • کیونکہ GPUs مختصر ترتیب پر آہستہ چلتے ہیں۔
6. فلیش اٹینشن کا 'IO-Aware' ڈیزائن کس چیز کو کم کرنے کو ترجیح دیتا ہے؟
   • ماڈل پیرامیٹرز کی تعداد
   • میموری SRAM اور HBM کے درمیان پڑھتی اور لکھتی ہے۔
   • عصبی نیٹ ورک کی گہرائی
   • ٹوکنائزر کے الفاظ کا سائز
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation