ALiBi অবস্থান পক্ষপাত কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. ALiBi মানে কি?
   • রৈখিক পক্ষপাতের সাথে মনোযোগ দিন
   • অভিযোজিত লিনিয়ার বায়াস
   • সারিবদ্ধ দ্বিমুখী এনকোডিং
   • পরম লিনিয়ার ইনডেক্সিং
2. কিভাবে ALiBi দূরবর্তী টোকেনকে শাস্তি দেয়?
   • একটি নির্দিষ্ট উইন্ডোর বাইরে এম্বেডিংগুলিকে শূন্য করে
   • ক্যোয়ারী এবং কী পজিশনের মধ্যে দূরত্বের সমানুপাতিক পেনাল্টি যোগ করে
   • প্রতিটি অবস্থানের জন্য একটি পৃথক এমবেডিং শেখার মাধ্যমে
   • ক্যোয়ারী এবং কী ভেক্টর ঘোরানোর মাধ্যমে
3. ALiBi এর সবচেয়ে বিখ্যাত ব্যবহারিক সুবিধা কি?
   • এটি একটি সফটম্যাক্সের প্রয়োজনীয়তা দূর করে
   • এটা মনোযোগ ধ্রুবক মেমরি সঞ্চালিত করে তোলে
   • এটি প্রশিক্ষণে দেখা যাওয়াগুলির চেয়ে দীর্ঘ ক্রমগুলিতে ভালভাবে এক্সট্রাপোলেট করে
   • এটি একাধিক মনোযোগের মাথার প্রয়োজনকে সরিয়ে দেয়
4. মনোযোগ মাথা জুড়ে রৈখিক পক্ষপাত সম্পর্কে ভিন্ন কি?
   • প্রতিটি মাথা ঠিক একই ঢাল ভাগ করে
   • ঢাল প্রশিক্ষণ সময় শেখা হয়
   • শুধুমাত্র প্রথম মাথা একটি পক্ষপাত পায়
   • প্রতিটি মাথা তার নিজস্ব নির্দিষ্ট ঢাল পায়, একটি জ্যামিতিক ক্রম গঠন করে
5. ঐতিহ্যগত অবস্থানগত এম্বেডিংয়ের তুলনায়, ALiBi কয়টি শেখা পরামিতি যোগ করে?
   • কোনটিই নয় - পক্ষপাতের ঢালগুলি স্থির, শেখা হয়নি
   • প্রতি পদে একজন
   • টোকেন প্রতি একটি
   • মনোযোগ মাথা প্রতি দুই
6. অবস্থান তথ্যের জন্য কোন সুপরিচিত বড় মডেল ALiBi ব্যবহার করেছে?
   • GPT-2
   • ব্লুম
   • BERT
   • Word2Vec
7. At what stage does ALiBi apply its distance-based bias?
   • To token IDs before they enter the embedding table
   • To the final vocabulary probabilities after decoding
   • To query-key attention scores before the softmax
   • To the training labels after loss calculation
8. Why can ALiBi support inference on sequences longer than those used in training?
   • It removes the need for attention at longer lengths
   • It automatically retrains the model while generating
   • It stores a complete answer for every possible sequence length
   • Its distance-based bias does not require a separately learned embedding for every absolute position