ক্রস-অ্যাটেনশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. স্ব-মনোযোগ এবং ক্রস-মনোযোগের মধ্যে মূল পার্থক্য কী?
   • ক্রস-অ্যাটেনশনে, প্রশ্নগুলি একটি ক্রম থেকে আসে এবং অন্য থেকে কী/মানগুলি আসে৷
   • ক্রস-মনোযোগ কোন সফটম্যাক্স ব্যবহার করে না
   • স্ব-মনোযোগ শুধুমাত্র ছবির উপর কাজ করে
   • ক্রস-মনোযোগ গ্রেডিয়েন্ট ডিসেন্টের সাথে প্রশিক্ষিত হতে পারে না
2. একটি এনকোডার-ডিকোডার ট্রান্সফরমারে, ক্রস-মনোযোগের জন্য প্রশ্নগুলি কোথা থেকে আসে?
   • এনকোডারের আউটপুট
   • ডিকোডারের বর্তমান অবস্থা
   • শুধুমাত্র কাঁচা ইনপুট এম্বেডিং
   • একটি পৃথক র্যান্ডম ম্যাট্রিক্স
3. কেন ক্রস-মনোযোগে দুটি ক্রম ভিন্ন দৈর্ঘ্য বা পদ্ধতি থাকতে পারে?
   • কারণ মনোযোগের জন্য সমান দৈর্ঘ্যের ইনপুট প্রয়োজন
   • কারণ এটি একটি সিকোয়েন্সকে সম্পূর্ণরূপে উপেক্ষা করে
   • কারণ প্রশ্ন এবং কীগুলি বিভিন্ন, স্বাধীন উত্স থেকে আসে
   • কারণ এটি প্রথমে একটি নির্দিষ্ট আকারে সবকিছু প্যাড করে
4. কিভাবে স্থিতিশীল বিস্তার ক্রস-মনোযোগ ব্যবহার করে?
   • ছোট ফাইলে ছবি কম্প্রেস করতে
   • ভাষার মধ্যে পাঠ্য অনুবাদ করতে
   • অডিও থেকে শব্দ অপসারণ
   • টেক্সট প্রম্পটে জেনারেটেড ইমেজ অঞ্চলগুলি কন্ডিশন করতে
5. ক্রস-মনোযোগ কি গণিত অপারেশন স্ব-মনোযোগের সাথে ভাগ করে?
   • একটি সফটম্যাক্স সহ স্কেলড ডট-প্রোডাক্ট মনোযোগ
   • পিক্সেলের উপর আবর্তন
   • পুনরাবৃত্ত রাষ্ট্র আপডেট
   • হার্ড কোডেড লুকআপ টেবিল
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs