اختبار مرتبط بالدليل · متوسط المستوى
مسابقة عبر الانتباه
افهم كيف يتيح الانتباه المتبادل لتسلسل أو طريقة واحدة الاستعلام عن تمثيلات من تسلسل أو طريقة أخرى في نماذج المحولات.
سؤال 1 من 8
ما هو الفرق الرئيسي بين الاهتمام الذاتي والانتباه المتبادل؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو الفرق الرئيسي بين الاهتمام الذاتي والانتباه المتبادل؟
- في الانتباه المتبادل، تأتي الاستعلامات من تسلسل واحد والمفاتيح/القيم من تسلسل آخر
- لا يستخدم الانتباه المتقاطع softmax
- الاهتمام الذاتي يعمل فقط على الصور
- لا يمكن تدريب الانتباه المتبادل من خلال النسب المتدرج
- في محول التشفير وفك التشفير، من أين تأتي الاستعلامات الخاصة بالانتباه المتبادل؟
- مخرجات التشفير
- الوضع الحالي لوحدة فك التشفير
- تضمينات المدخلات الخام فقط
- مصفوفة عشوائية منفصلة
- لماذا يمكن أن يكون للتسلسلين في الانتباه المتبادل أطوال أو طرائق مختلفة؟
- لأن الاهتمام يتطلب مدخلات متساوية الطول
- لأنه يتجاهل أحد التسلسلات بالكامل
- لأن الاستعلامات والمفاتيح تأتي من مصادر مختلفة ومستقلة
- لأنه يربط كل شيء بحجم ثابت أولاً
- كيف يستخدم الانتشار المستقر الانتباه المتبادل؟
- لضغط الصور إلى ملفات أصغر
- لترجمة النص بين اللغات
- لإزالة الضوضاء من الصوت
- لتكييف مناطق الصور التي تم إنشاؤها في موجه النص
- ما هي العملية الحسابية التي يشترك فيها الانتباه المتبادل مع الانتباه الذاتي؟
- تم زيادة الاهتمام بالمنتج النقطي باستخدام softmax
- الالتفاف على البكسل
- تحديثات الحالة المتكررة
- جداول البحث المشفرة
- What gate does Flamingo use to control information flow through its cross-attention layers?
- A hard threshold initialized to one
- A tanh gate initialized to zero
- A fixed residual weight of 0.5
- A learned vocabulary lookup table
- What input sequence structure does Flamingo’s paper say its visual-language model can handle?
- Only one image followed by a fixed-length label
- Only text tokens with no visual inputs
- Visual and textual data interleaved in arbitrary sequences
- Only video frames with no text
- What is one purpose of cross-attention in Flamingo’s visual-language architecture?
- It replaces all text tokens with pixels
- It prevents any information from passing between modalities
- It performs only image resizing
- It lets language-model layers incorporate visual features from image/video inputs