মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন কমানোর জন্য প্রাথমিক সমস্যা কী?
   • অনুমান করার সময় কী-মান ক্যাশের মেমরি খরচ
   • প্রশিক্ষণ তথ্যের অভাব
   • মডেল পরামিতি সংখ্যা
   • টোকেনাইজার শব্দভান্ডারের আকার
2. এমএলএ কিভাবে কেভি ক্যাশে সঙ্কুচিত করে?
   • এটি ক্যাশে থেকে পুরানো টোকেন মুছে দেয়
   • এটি সম্পূর্ণ মাথার কী এবং মানের পরিবর্তে একটি ছোট নিম্ন-র্যাঙ্কের সুপ্ত ভেক্টর সঞ্চয় করে
   • এটি সবকিছুর জন্য 1-বিট ওজন ব্যবহার করে
   • এটি কিছু টোকেনের উপর সম্পূর্ণ মনোযোগ এড়িয়ে যায়
3. কোন মডেল প্রথম মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন চালু করে?
   • GPT-2
   • BERT
   • DeepSeek-V2
   • LLaMA 1
4. রোটারি পজিশন এম্বেডিংয়ের জন্য এমএলএ-র কেন আলাদা 'ডিকপলড' পাথ প্রয়োজন?
   • কারণ অবস্থানগুলি মনোযোগের জন্য অপ্রাসঙ্গিক
   • কারণ RoPE শব্দভাণ্ডার দ্বিগুণ করে
   • কারণ এটি অপ্টিমাইজারের গতি বাড়ায়
   • কারণ ঘূর্ণনকে শোষিত আপ-প্রজেকশনে ভাঁজ করা যায় না যেমন বাকি চাবির মতো
5. ডিপসিক-ভি2 এমএলএ বনাম স্ট্যান্ডার্ড মাল্টি-হেড অ্যাটেনশন থেকে মোটামুটি কত কেভি-ক্যাশ মেমরি হ্রাস করেছে?
   • 90% এর বেশি
   • প্রায় 5%
   • ঠিক 50%
   • কোন হ্রাস, শুধুমাত্র গতি লাভ
6. এমএলএ-এর ছোট প্রতি-টোকেন ক্যাশে থেকে সরাসরি কোন ব্যবহারিক সুবিধা পাওয়া যায়?
   • যেকোন জিপিইউ এর প্রয়োজনীয়তা দূর করা
   • একই হার্ডওয়্যারে বৃহত্তর অনুমান ব্যাচের আকার এবং দীর্ঘ প্রসঙ্গ
   • সব ভাষায় স্বয়ংক্রিয় অনুবাদ
   • সফটম্যাক্স অপারেশন অপসারণ
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections