ফ্ল্যাশ অ্যাটেনশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. স্ট্যান্ডার্ড মনোযোগের প্রধান বাধা ফ্ল্যাশএটেনশন লক্ষ্য কি?
   • GPU মেমরি ধীর করতে বড় মনোযোগ ম্যাট্রিক্স পড়া এবং লেখা
   • ভাসমান-বিন্দু গুণের সংখ্যা
   • ইনপুট টেক্সট টোকেনাইজ করার খরচ
   • GPU-এর মধ্যে নেটওয়ার্ক লেটেন্সি
2. কিভাবে FlashAttention এর আউটপুট স্ট্যান্ডার্ড মনোযোগের সাথে তুলনা করে?
   • এটি একটি অনুমান যা গতির জন্য নির্ভুলতা ট্রেড করে
   • এটি গাণিতিকভাবে অভিন্ন (সঠিক)
   • এটি শুধুমাত্র সংক্ষিপ্ত সিকোয়েন্সের জন্য কাজ করে
   • এটি মডেলের ওজন পরিবর্তন করে
3. কোন GPU মেমরি FlashAttention টাইলগুলিতে ডেটা প্রক্রিয়াকরণের মাধ্যমে শোষণ করে?
   • বড় কিন্তু ধীর উচ্চ-ব্যান্ডউইথ মেমরি (HBM)
   • CPU এর RAM
   • ছোট কিন্তু খুব দ্রুত অন-চিপ SRAM
   • ডিস্ক স্টোরেজ
4. কোন কৌশল FlashAttention কে একযোগে সমস্ত স্কোর না দেখে সফটম্যাক্স গণনা করতে দেয়?
   • সফটম্যাক্স সম্পূর্ণভাবে এড়িয়ে যাওয়া
   • সমস্ত স্কোরকে শূন্যে রাউন্ডিং করা
   • সিপিইউতে সফটম্যাক্সের প্রি-কম্পিউটিং
   • অনলাইন (ক্রমবর্ধমান) সফটম্যাক্স চলমান রিস্কেলিং সহ
5. যেহেতু HBM-এ সম্পূর্ণ মনোযোগের ম্যাট্রিক্স সংরক্ষণ করা হয় না, তাই মেমরি ব্যবহারের স্কেল মোটামুটিভাবে:
   • ক্রম দৈর্ঘ্য সহ রৈখিকভাবে
   • ক্রম দৈর্ঘ্য সহ চতুর্ভুজ
   • ক্রমবর্ধমান দৈর্ঘ্য সহ
   • ক্রম দৈর্ঘ্য স্বাধীনভাবে
6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
   • Only 64-bit floating point
   • FP8, with techniques to manage its numerical error
   • Integer text tokens
   • No reduced-precision format
7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
   • It stores the complete attention matrix in HBM
   • It replaces attention with convolution
   • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
   • It uses only CPU execution
8. In FlashAttention-3, what lets data movement overlap with computation?
   • Replacing attention with a lookup table
   • Computing all scores in host memory
   • Disabling the softmax step
   • Asynchronous execution on Hopper hardware