ALiBi پوزیشن تعصب

It lets a model trained on short text handle much longer inputs at inference time.

ٹرانسفارمرز میں ورڈ آرڈر کا کوئی بلٹ ان تصور نہیں ہوتا ہے، اس لیے انہیں پوزیشن کو انکوڈ کرنے کا طریقہ درکار ہوتا ہے۔ کلاسک نقطہ نظر ٹوکن ویکٹر میں پوزیشنی ایمبیڈنگز کو شامل کرتا ہے۔ 2021 میں پریس، اسمتھ اور لیوس کے ذریعہ متعارف کرایا گیا ALiBi، ان کو مکمل طور پر باہر پھینک دیتا ہے۔ اس کے بجائے، یہ توجہ کے اسکور کو براہ راست دھکیل دیتا ہے: جب کوئی سوال ٹوکن کلیدی ٹوکن کو دیکھتا ہے، تو ALiBi ان کے درمیان فاصلے کے متناسب جرمانہ کو گھٹا دیتا ہے۔ ٹوکن جو بہت دور ہیں ان پر بڑا جرمانہ ملتا ہے، اس لیے ماڈل قدرتی طور پر قریبی سیاق و سباق کو ترجیح دیتا ہے۔ ہر توجہ کے سر کو اس کی اپنی مقررہ سزا کی ڈھلوان ملتی ہے، لہذا کچھ سر مقامی طور پر نظر آتے ہیں جبکہ دوسرے دور دیکھتے ہیں۔ چونکہ تعصب صرف فاصلے کا ایک کام ہے، ALiBi تربیت میں دیکھے جانے والے سلسلوں سے کہیں زیادہ لمبے انداز میں خوبصورتی سے ایکسٹراپلیٹ کرتا ہے۔