গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
মাল্টি-কোয়েরি মনোযোগ কুইজ
পরীক্ষা করুন কিভাবে মাল্টি-কোয়েরি অ্যাটেনশন কী-মান হেড শেয়ার করে, ক্যাশে ট্র্যাফিক কমায় এবং ডিকোডার মডেলে গ্রুপড-ক্যোয়ারি মনোযোগের সাথে সম্পর্কিত।
প্রশ্ন 1 এর 8
মাল্টি-কোয়েরি অ্যাটেনশন সমস্ত মনোযোগের মাথা জুড়ে কী ভাগ করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- মাল্টি-কোয়েরি অ্যাটেনশন সমস্ত মনোযোগের মাথা জুড়ে কী ভাগ করে?
- কী এবং মানগুলির একটি একক সেট
- ক্যোয়ারী অনুমান
- সফটম্যাক্স তাপমাত্রা
- আউটপুট স্তর ওজন
- অটোরিগ্রেসিভ জেনারেশনের সময় MQA যে প্রাথমিক বাধা দেয় তা কী?
- ফ্লোটিং-পয়েন্ট কম্পিউট থ্রুপুট
- কেভি ক্যাশে লোড করা থেকে মেমরি ব্যান্ডউইথ
- প্রশিক্ষণ যুগের সংখ্যা
- টোকেনাইজার শব্দভান্ডারের আকার
- মোটামুটি কোন ফ্যাক্টর দ্বারা MQA কেভি ক্যাশে সঙ্কুচিত করে?
- ক্রম দৈর্ঘ্য দ্বারা
- ব্যাচ আকার দ্বারা
- মনোযোগ প্রধান সংখ্যা দ্বারা
- এটি কেভি ক্যাশের আকার পরিবর্তন করে না
- MQA ব্যবহার করার প্রধান ট্রেড-অফ কি?
- অনেক ধীর অনুমান
- এটি আর একাধিক মাথা ব্যবহার করতে পারে না
- এটি অনেক বেশি প্রশিক্ষণ তথ্য প্রয়োজন
- মডেল মানের একটি শালীন ড্রপ
- স্ট্যান্ডার্ড মাল্টি-হেড অ্যাটেনশন এবং MQA এর মধ্যে কোন বৈকল্পিকটি বসে?
- দলবদ্ধ-কোয়েরি মনোযোগ
- স্লাইডিং-উইন্ডো মনোযোগ
- ফ্ল্যাশ মনোযোগ
- স্পার্স মনোযোগ
- কে মাল্টি-কোয়েরি মনোযোগ প্রস্তাব?
- জিওফ্রে হিন্টন
- নোয়াম শাজির
- ইয়ান লেকুন
- আন্দ্রেজ কার্পাথি
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once