ALiBi پوزیشن بائیس کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ALiBi کا مطلب کیا ہے؟
   • لکیری تعصبات پر توجہ دیں۔
   • انکولی لکیری تعصب
   • منسلک دو طرفہ انکوڈنگ
   • مطلق لکیری انڈیکسنگ
2. ALiBi دور دراز کے ٹوکن کو کیسے جرمانہ کرتا ہے؟
   • ایک مقررہ ونڈو سے باہر ایمبیڈنگز کو صفر کرکے
   • استفسار اور کلیدی پوزیشنوں کے درمیان فاصلے کے متناسب جرمانہ شامل کرکے
   • ہر پوزیشن کے لیے الگ ایمبیڈنگ سیکھ کر
   • استفسار اور کلیدی ویکٹر کو گھما کر
3. ALiBi کا سب سے مشہور عملی فائدہ کیا ہے؟
   • یہ سافٹ میکس کی ضرورت کو ختم کرتا ہے۔
   • یہ توجہ کو مستقل میموری میں چلاتا ہے۔
   • یہ تربیت میں دیکھے جانے والوں کے مقابلے لمبے سلسلے میں اچھی طرح سے نکالتا ہے۔
   • یہ متعدد توجہ کے سروں کی ضرورت کو دور کرتا ہے۔
4. توجہ کے سروں پر لکیری تعصب کے بارے میں کیا فرق ہے؟
   • ہر سر بالکل اسی ڈھال کا اشتراک کرتا ہے۔
   • ڈھلوان تربیت کے دوران سیکھے جاتے ہیں۔
   • صرف پہلے سر کو تعصب ملتا ہے۔
   • ہر سر کو اپنی ایک مقررہ ڈھلوان ملتی ہے، جو ایک ہندسی ترتیب بناتی ہے۔
5. روایتی پوزیشنی ایمبیڈنگز کے مقابلے میں، ALiBi کتنے سیکھے ہوئے پیرامیٹرز کا اضافہ کرتا ہے؟
   • کوئی نہیں - تعصب کی ڈھلوانیں طے ہیں، سیکھی نہیں ہیں۔
   • ایک فی پوزیشن
   • ایک فی ٹوکن
   • دو فی توجہ سر
6. کس معروف بڑے ماڈل نے پوزیشن کی معلومات کے لیے ALiBi کا استعمال کیا؟
   • GPT-2
   • بلوم
   • بی آر ٹی
   • Word2Vec
7. At what stage does ALiBi apply its distance-based bias?
   • To token IDs before they enter the embedding table
   • To the final vocabulary probabilities after decoding
   • To query-key attention scores before the softmax
   • To the training labels after loss calculation
8. Why can ALiBi support inference on sequences longer than those used in training?
   • It removes the need for attention at longer lengths
   • It automatically retrains the model while generating
   • It stores a complete answer for every possible sequence length
   • Its distance-based bias does not require a separately learned embedding for every absolute position