گائیڈ سے منسلک کوئز · درمیانہ سطح

فلیش اٹینشن کوئز

چیک کریں کہ FlashAttention کس طرح ہائی بینڈوڈتھ-میموری ٹریفک کو کم کرتا ہے جبکہ عین توجہ کا حساب لگاتا ہے، اور کون سا ہارڈ ویئر FlashAttention-3 کے اہداف کو تبدیل کرتا ہے۔

متعلقہ گائیڈ کے راستےفلیشٹینشن
سوال 1 کی 8

معیاری توجہ میں اہم رکاوٹ FlashAttention کے اہداف کیا ہیں؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. معیاری توجہ میں اہم رکاوٹ FlashAttention کے اہداف کیا ہیں؟
    • GPU میموری کو سست کرنے کے لیے بڑے توجہ والے میٹرکس کو پڑھنا اور لکھنا
    • فلوٹنگ پوائنٹ ضربوں کی تعداد
    • ان پٹ ٹیکسٹ کو ٹوکنائز کرنے کی لاگت
    • GPUs کے درمیان نیٹ ورک میں تاخیر
  2. FlashAttention کا آؤٹ پٹ معیاری توجہ سے کیسے موازنہ کرتا ہے؟
    • یہ ایک تخمینہ ہے جو رفتار کے لیے درستگی کی تجارت کرتا ہے۔
    • یہ ریاضیاتی طور پر یکساں ہے (درست)
    • یہ صرف مختصر سلسلے کے لیے کام کرتا ہے۔
    • یہ ماڈل کے وزن کو تبدیل کرتا ہے۔
  3. ٹائلوں میں ڈیٹا پروسیسنگ کرکے فلیش اٹٹینشن کس GPU میموری کا فائدہ اٹھاتا ہے؟
    • بڑی لیکن سست ہائی بینڈوتھ میموری (HBM)
    • سی پی یو کی ریم
    • چھوٹی لیکن بہت تیز آن چپ SRAM
    • ڈسک اسٹوریج
  4. FlashAttention کو کونسی تکنیک ایک ساتھ تمام سکور دیکھے بغیر سافٹ میکس کی گنتی کرنے دیتی ہے؟
    • سافٹ میکس کو مکمل طور پر چھوڑنا
    • تمام اسکورز کو صفر پر گول کرنا
    • سی پی یو پر سافٹ میکس کو پری کمپیوٹنگ کرنا
    • رننگ ریسکیلنگ کے ساتھ آن لائن (بڑھتی ہوئی) سافٹ میکس
  5. چونکہ مکمل توجہ کا میٹرکس کبھی بھی HBM میں محفوظ نہیں ہوتا ہے، اس لیے میموری کا استعمال تقریباً پیمانے پر ہوتا ہے:
    • ترتیب کی لمبائی کے ساتھ لکیری طور پر
    • ترتیب کی لمبائی کے ساتھ چوکور
    • تسلسل کی لمبائی کے ساتھ تیزی سے
    • تسلسل کی لمبائی سے آزاد
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware