کراس اٹینشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. خود توجہ اور کراس توجہ کے درمیان اہم فرق کیا ہے؟
   • کراس اٹینشن میں، استفسارات ایک ترتیب سے آتے ہیں اور کلیدیں/اقدار دوسرے سے
   • کراس توجہ کوئی softmax استعمال نہیں کرتا
   • خود توجہ صرف تصاویر پر کام کرتی ہے۔
   • کراس دھیان کو تدریجی نزول کے ساتھ تربیت نہیں دی جا سکتی
2. ایک انکوڈر-ڈیکوڈر ٹرانسفارمر میں، کراس اٹینشن کے سوالات کہاں سے آتے ہیں؟
   • انکوڈر کے آؤٹ پٹس
   • ڈیکوڈر کی موجودہ حالت
   • صرف خام ان پٹ سرایت کرتا ہے۔
   • ایک الگ بے ترتیب میٹرکس
3. کراس اٹینشن میں دو ترتیبوں کی لمبائی یا طریقہ کار مختلف کیوں ہو سکتے ہیں؟
   • کیونکہ توجہ کے لیے مساوی طوالت کے ان پٹ کی ضرورت ہوتی ہے۔
   • کیونکہ یہ ایک ترتیب کو مکمل طور پر نظر انداز کر دیتا ہے۔
   • کیونکہ سوالات اور کلیدیں مختلف، آزاد ذرائع سے آتی ہیں۔
   • کیونکہ یہ سب سے پہلے ایک مقررہ سائز میں پیڈ کرتا ہے۔
4. مستحکم بازی کس طرح کراس اٹینشن کا استعمال کرتی ہے؟
   • تصاویر کو چھوٹی فائلوں میں کمپریس کرنے کے لیے
   • زبانوں کے درمیان متن کا ترجمہ کرنے کے لیے
   • آڈیو سے شور کو دور کرنے کے لیے
   • ٹیکسٹ پرامپٹ پر جنریٹڈ امیج ریجنز کو کنڈیشن کرنے کے لیے
5. خود توجہ کے ساتھ کراس اٹینشن کس ریاضی کے عمل کا اشتراک کرتا ہے؟
   • softmax کے ساتھ اسکیلڈ ڈاٹ پروڈکٹ توجہ
   • پکسلز پر کنولیشن
   • بار بار ریاستی اپ ڈیٹس
   • ہارڈ کوڈڈ تلاش کی میزیں۔
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs