গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

মাল্টি-কোয়েরি মনোযোগ কুইজ

পরীক্ষা করুন কিভাবে মাল্টি-কোয়েরি অ্যাটেনশন কী-মান হেড শেয়ার করে, ক্যাশে ট্র্যাফিক কমায় এবং ডিকোডার মডেলে গ্রুপড-ক্যোয়ারি মনোযোগের সাথে সম্পর্কিত।

সম্পর্কিত গাইড পাথমাল্টি কোয়েরি মনোযোগ
প্রশ্ন 1 এর 8

মাল্টি-কোয়েরি অ্যাটেনশন সমস্ত মনোযোগের মাথা জুড়ে কী ভাগ করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. মাল্টি-কোয়েরি অ্যাটেনশন সমস্ত মনোযোগের মাথা জুড়ে কী ভাগ করে?
    • কী এবং মানগুলির একটি একক সেট
    • ক্যোয়ারী অনুমান
    • সফটম্যাক্স তাপমাত্রা
    • আউটপুট স্তর ওজন
  2. অটোরিগ্রেসিভ জেনারেশনের সময় MQA যে প্রাথমিক বাধা দেয় তা কী?
    • ফ্লোটিং-পয়েন্ট কম্পিউট থ্রুপুট
    • কেভি ক্যাশে লোড করা থেকে মেমরি ব্যান্ডউইথ
    • প্রশিক্ষণ যুগের সংখ্যা
    • টোকেনাইজার শব্দভান্ডারের আকার
  3. মোটামুটি কোন ফ্যাক্টর দ্বারা MQA কেভি ক্যাশে সঙ্কুচিত করে?
    • ক্রম দৈর্ঘ্য দ্বারা
    • ব্যাচ আকার দ্বারা
    • মনোযোগ প্রধান সংখ্যা দ্বারা
    • এটি কেভি ক্যাশের আকার পরিবর্তন করে না
  4. MQA ব্যবহার করার প্রধান ট্রেড-অফ কি?
    • অনেক ধীর অনুমান
    • এটি আর একাধিক মাথা ব্যবহার করতে পারে না
    • এটি অনেক বেশি প্রশিক্ষণ তথ্য প্রয়োজন
    • মডেল মানের একটি শালীন ড্রপ
  5. স্ট্যান্ডার্ড মাল্টি-হেড অ্যাটেনশন এবং MQA এর মধ্যে কোন বৈকল্পিকটি বসে?
    • দলবদ্ধ-কোয়েরি মনোযোগ
    • স্লাইডিং-উইন্ডো মনোযোগ
    • ফ্ল্যাশ মনোযোগ
    • স্পার্স মনোযোগ
  6. কে মাল্টি-কোয়েরি মনোযোগ প্রস্তাব?
    • জিওফ্রে হিন্টন
    • নোয়াম শাজির
    • ইয়ান লেকুন
    • আন্দ্রেজ কার্পাথি
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once