ویرل توجہ کے پیٹرنز کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. طویل سلسلے پر مکمل خود توجہ کیوں مہنگی ہے؟
   • اس کی لاگت ترتیب کی لمبائی کے مربع کے ساتھ بڑھتی ہے۔
   • یہ GPUs استعمال نہیں کر سکتا
   • یہ صرف مختصر الفاظ پر کام کرتا ہے۔
   • اسے کسی بھی طرح کی یادداشت کی ضرورت نہیں ہے۔
2. سلائیڈنگ ونڈو (مقامی) توجہ کیا ہے؟
   • ہر ٹوکن بے ترتیب ڈیٹا بیس میں شامل ہوتا ہے۔
   • ہر ٹوکن صرف اپنے قریبی پڑوسیوں کے لیے حاضر ہوتا ہے۔
   • ٹوکن کبھی بھی کسی چیز پر حاضر نہیں ہوتے ہیں۔
   • ہر ٹوکن تمام ٹوکنز پر دو بار حاضر ہوتا ہے۔
3. کم توجہ میں 'عالمی ٹوکن' کا مقصد کیا ہے؟
   • ماڈل کو سست کرنے کے لیے
   • تصاویر کو ذخیرہ کرنے کے لیے
   • مرکز کے طور پر کام کرنے کے لئے جو ہر چیز میں شرکت کرتے ہیں اور ہر چیز میں شرکت کرتی ہے
   • الفاظ کو بدلنے کے لیے
4. کس ماڈل نے ثابت کیا کہ بے ترتیب، ونڈو، اور عالمی توجہ کو یکجا کرنے سے پوری توجہ اظہار کو برقرار رکھتی ہے؟
   • ریس نیٹ
   • Word2Vec
   • الیکس نیٹ
   • بگ برڈ
5. اچھی طرح سے ڈیزائن کردہ ویرل توجہ میں کنکشنز کی تعداد تقریباً کس طرح پیمانہ ہوتی ہے؟
   • ترتیب کی لمبائی کے ساتھ تقریباً لکیری
   • ترتیب کی لمبائی کے ساتھ چوکور
   • یہ لمبائی پر منحصر نہیں ہے۔
   • تسلسل کی لمبائی کے ساتھ تیزی سے
6. سٹرائڈڈ یا ڈیلیٹڈ ویرل توجہ کے نمونے کس چیز کی اجازت دیتے ہیں؟
   • ان کی گنتی کرتا ہے اور پھر انہیں صفر پر سیٹ کرتا ہے۔
   • کم توجہ والے لنکس کے ساتھ دور دراز کے سیاق و سباق تک پہنچنے کے لیے آگے بڑھیں۔
   • انہیں دوسرے سرور پر بھیجتا ہے۔
   • انہیں مستقل طور پر ذخیرہ کرتا ہے۔
7. لانگفارمر مقامی اور عالمی توجہ کو کیسے یکجا کرتا ہے؟
   • ہر ٹوکن ہر دوسرے ٹوکن پر حاضر ہوتا ہے۔
   • صرف بے ترتیب کناروں کی اجازت ہے۔
   • زیادہ تر ٹوکنز ایک سلائیڈنگ لوکل ونڈو کا استعمال کرتے ہیں، جبکہ منتخب عالمی ٹوکن پوری ترتیب میں جڑتے ہیں۔
   • ہر ٹوکن صرف حتمی ٹوکن پر حاضر ہوتا ہے۔
8. سیکھے ہوئے، مواد پر مبنی ویرل توجہ کا مقصد کیا ہے؟
   • ہر ٹوکن سے ایک مکمل گھنا کنکشن
   • مستقبل کے تمام ٹوکنز کو ہٹانے کا اصول
   • ہر توجہ کے سر کے لیے ایک سیکھی ہوئی لغت
   • موجودہ استفسار سے غیر متعلق مواد پر توجہ کی گنتی اور میموری خرچ کرنے سے گریز کریں۔