ফ্ল্যাশ মনোযোগ কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. ফ্ল্যাশ মনোযোগ লক্ষ্য করে প্রধান বাধা কি?
   • GPU মেমরি ধীর করতে বড় মনোযোগ ম্যাট্রিক্স পড়া এবং লেখা
   • মনোযোগে ভাসমান-বিন্দু গুণের সংখ্যা
   • ডিস্ক থেকে মডেলের ওজন লোড করার খরচ
   • একাধিক GPU-এর মধ্যে নেটওয়ার্ক লেটেন্সি
2. ফ্ল্যাশ অ্যাটেনশন কীভাবে সম্পূর্ণ এন-বাই-এন মনোযোগ ম্যাট্রিক্স সংরক্ষণ করা এড়ায়?
   • এটি এলোমেলো অভিক্ষেপের সাথে মনোযোগ আনুমানিক করে
   • এটি ছোট টাইলগুলিতে প্রশ্ন, কী এবং মানগুলি প্রক্রিয়া করে এবং আংশিক ফলাফলগুলিকে একত্রিত করে
   • এটি বেশিরভাগ টোকেন জোড়া সম্পূর্ণভাবে এড়িয়ে যায়
   • এটি কোয়ান্টাইজেশনের সাথে ম্যাট্রিক্সকে সংকুচিত করে
3. কোন কৌশলটি ফ্ল্যাশ অ্যাটেনশনকে একবারে পুরো সারিটি না দেখে সফটম্যাক্সকে সঠিকভাবে গণনা করতে দেয়?
   • সূচকের একটি পূর্বনির্ধারিত লুকআপ টেবিল
   • softmax ড্রপ এবং একটি রৈখিক অনুমান ব্যবহার করে
   • একটি চলমান (অনলাইন) সফটম্যাক্স যা চলমান সর্বোচ্চ এবং যোগফলকে ট্র্যাক করে
   • স্বাভাবিক করার আগে স্কোর সাজানো
4. আদর্শ মনোযোগের তুলনায়, ফ্ল্যাশ মনোযোগের আউটপুট হল:
   • একটি মোটামুটি আনুমানিক যা গতির জন্য নির্ভুলতা ট্রেড করে
   • উচ্চ নির্ভুলতার কারণে আরও সঠিক
   • শুধুমাত্র সংক্ষিপ্ত সিকোয়েন্সের জন্য বৈধ
   • গাণিতিকভাবে অভিন্ন, শুধু আরও দক্ষতার সাথে গণনা করা হয়েছে
5. কেন ফ্ল্যাশ মনোযোগ দীর্ঘ ক্রম সঙ্গে সবচেয়ে সাহায্য করে?
   • কারণ মনোযোগ স্মৃতি ক্রম দৈর্ঘ্যের সাথে চতুর্মুখীভাবে বৃদ্ধি পায়
   • কারণ লম্বা সিকোয়েন্সের জন্য কম স্তর প্রয়োজন
   • কারণ সফটম্যাক্স দীর্ঘ ইনপুটের জন্য অপ্রয়োজনীয় হয়ে পড়ে
   • কারণ GPU গুলি ছোট সিকোয়েন্সে ধীর গতিতে চলে
6. ফ্ল্যাশ অ্যাটেনশনের 'আইও-সচেতন' ডিজাইনটি কী কমানোর অগ্রাধিকার দেয়?
   • মডেল পরামিতি সংখ্যা
   • মেমরি SRAM এবং HBM এর মধ্যে পড়ে এবং লেখে
   • নিউরাল নেটওয়ার্কের গভীরতা
   • টোকেনাইজারের শব্দভান্ডারের আকার
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation