توجہ کا طریقہ کار کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. 2017 کے کس تاریخی کاغذ نے ٹرانسفارمر فن تعمیر کو متعارف کرایا؟
   • 'تصویر کی شناخت کے لیے گہری بقایا تعلیم'
   • 'گہری کمک سیکھنے کے ساتھ اٹاری کھیلنا'
   • 'توجہ صرف آپ کی ضرورت ہے'
   • 'جنریٹیو مخالف نیٹ ورک'
3. توجہ کے لحاظ سے ہر ٹوکن کے لیے تین ویکٹرز کیا ہیں؟
   • سوال، کلید، اور قدر
   • ان پٹ، آؤٹ پٹ، اور تعصب
   • اوسط، میڈین اور موڈ
   • انکوڈر، ڈیکوڈر، اور نقصان
4. فارمولہ softmax(QK^T / √d_k) V میں، کیوں تقسیم کریں √d_k سے؟
   • نتیجہ کو عدد میں تبدیل کرنا
   • منفی نمبروں کو دور کرنے کے لیے
   • ماڈل کو GPU پر چلانے کے لیے
   • سوفٹ میکس سے پہلے ڈاٹ پروڈکٹ کے اسکور کو بہت بڑا ہونے سے روکنے کے لیے
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • کیونکہ اسے انٹرنیٹ سے نیا ڈیٹا ڈاؤن لوڈ کرنا ہوگا۔
   • کیونکہ طویل متن میں ہمیشہ نایاب الفاظ ہوتے ہیں۔
   • کیونکہ لاگت ترتیب کی لمبائی کے مربع کے ساتھ بڑھتی ہے (O(n²))
   • کیونکہ یہ ایک سست پروگرامنگ زبان میں بدل جاتی ہے۔
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • آٹھ
   • چار
   • دو
   • تین
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters