মনোযোগ মেকানিজম কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. কোন ল্যান্ডমার্ক 2017 কাগজ ট্রান্সফরমার আর্কিটেকচার চালু করেছে?
   • 'চিত্র স্বীকৃতির জন্য গভীর অবশিষ্ট শিক্ষা'
   • 'ডিপ রিইনফোর্সমেন্ট শেখার সাথে আটারি খেলা'
   • 'মনোযোগ আপনার প্রয়োজন'
   • 'জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক'
3. মনোযোগের প্রতিটি টোকেনের জন্য তিনটি ভেক্টর গণনা করা হয়?
   • প্রশ্ন, কী, এবং মান
   • ইনপুট, আউটপুট এবং পক্ষপাত
   • গড়, মধ্যমা এবং মোড
   • এনকোডার, ডিকোডার এবং ক্ষতি
4. softmax(QK^T / √d_k) V সূত্রে, কেন √d_k দিয়ে ভাগ করবেন?
   • ফলাফলকে পূর্ণসংখ্যায় রূপান্তর করতে
   • নেতিবাচক সংখ্যা অপসারণ
   • মডেলটিকে একটি GPU-তে চালানোর জন্য
   • সফটম্যাক্সের আগে ডট-প্রোডাক্ট স্কোরকে খুব বড় হওয়া থেকে বাঁচাতে
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • কারণ এটি ইন্টারনেট থেকে নতুন ডেটা ডাউনলোড করতে হবে
   • কারণ দীর্ঘ টেক্সটে সবসময় বিরল শব্দ থাকে
   • কারণ ক্রম দৈর্ঘ্যের বর্গের সাথে খরচ বৃদ্ধি পায় (O(n²))
   • কারণ এটি একটি ধীর প্রোগ্রামিং ভাষায় সুইচ করে
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • আট
   • চার
   • দুই
   • তিন
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters