سیاق و سباق کی توسیع کے لیے پوزیشن انٹرپولیشن
پوزیشن انٹرپولیشن (PI) ایک ایسی تکنیک ہے جو ایک لینگویج ماڈل کے قابل استعمال سیاق و سباق کی کھڑکی کو اس کی تربیت کی لمبائی سے کہیں زیادہ بڑھاتی ہے اور پوزیشنل انڈیکسز کو ایکسٹرا پولیٹ کرنے کے بجائے ان کو ری اسکیل کرتی ہے۔
جائزہ
It lets a model trained on, say, 2K or 4K tokens handle 32K or more with only light fine-tuning.
گہرا غوطہ
زیادہ تر جدید LLMs روٹری پوزیشنل ایمبیڈنگز (RoPE) کا استعمال کرتے ہیں، جو استفسار اور کلیدی ویکٹرز پر لاگو گردشی زاویوں کے طور پر پوزیشن کو انکوڈ کرتے ہیں۔ اگر آپ صرف لمبے تسلسل کو فیڈ کرتے ہیں، تو ماڈل پوزیشنز اور گردش کے زاویوں کو دیکھتا ہے جس پر اس نے کبھی تربیت نہیں کی تھی، اور کارکردگی گر جاتی ہے کیونکہ توجہ حد سے باہر کی فریکوئنسیوں کی طرف بہت خراب ہوتی ہے۔ پوزیشن انٹرپولیشن ایکسٹراپولیشن سے بچتا ہے: لمبائی L سے لمبائی L' تک بڑھانے کے لیے، یہ ہر پوزیشن انڈیکس کو عنصر L'/L سے تقسیم کرتا ہے، نئی رینج کو دوبارہ تربیت یافتہ وقفہ میں نچوڑتا ہے۔ ماڈل اب صرف تقسیم کے زاویوں کو دیکھتا ہے، صرف زیادہ گھنے فاصلے پر۔ ایک مختصر ٹھیک دھن (اکثر چند سو سے ایک ہزار قدم) اسے بہتر وقفہ کے مطابق ڈھالنے دیتی ہے، جس سے پہلے سے تربیتی لاگت کے ایک چھوٹے سے حصے پر طویل سیاق و سباق کا مستحکم رویہ حاصل ہوتا ہے۔
تکنیکی بصیرت
RoPE طول و عرض کے جوڑوں کو تعدد پر گھماتا ہے جو ٹھیک سے موٹے ہوتے ہیں۔ PI پوزیشن کو m سے m/s میں ری سکیل کرتا ہے جہاں s = L'/L ہوتا ہے، اس لیے گردش کے زاویے ایکسٹراپولیٹنگ کی بجائے تربیت یافتہ رینج کے اندر رہتے ہیں۔ فریکوئینسی سے آگاہ مختلف حالتیں جیسے NTK-aware اسکیلنگ اور YaRN مزید آگے بڑھتے ہیں: وہ کم تعدد کو کم اور اعلی تعدد کو زیادہ پیمانہ کرتے ہیں (یا طول موج کے ذریعہ انٹرپولیٹ کرتے ہیں)، اعلی تعدد مقامی تفصیلات کو محفوظ رکھتے ہوئے کم تعدد طویل فاصلے تک رسائی کو بڑھاتے ہیں۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
سیاق و سباق کی توسیع کے لیے پوزیشن انٹرپولیشن کا مستقبل
سیاق و سباق کی توسیع تیزی سے آگے بڑھ رہی ہے۔ NTK-Aware RoPE سکیلنگ، YaRN، اور ڈائنامک/Long-RoPE جیسے طریقے اب کھڑکیوں کو سیکڑوں ہزاروں یا لاکھوں ٹوکنز کی طرف دھکیل دیتے ہیں، بعض اوقات بہت کم یا بغیر ٹھیک ٹیوننگ کے۔ توقع کریں کہ ان اسکیلنگ ٹرکس کو موثر توجہ اور KV-کیشے کمپریشن کے ساتھ ملایا جائے گا، اور ماڈل کنفیگرز میں معیاری نوبس بن جائیں گے۔ تحقیق پوری ونڈو میں درستگی کو بلند رکھنے پر جاری ہے تاکہ طویل سیاق و سباق حقیقی طور پر قابل استعمال ہوں، نہ کہ صرف برائے نام تعاون یافتہ۔
حقیقی دنیا کا نفاذ
مختصر فائن ٹیوننگ کے بعد طویل دستاویزات کا خلاصہ کرنے کے لیے 4K سے تربیت یافتہ LLaMA ماڈل کو 32K سیاق و سباق میں بڑھانا۔
کراس فائل سوال کے جواب کے لیے ایک پرامپٹ میں پورے کوڈ بیس یا بڑے قانونی معاہدے کو لوڈ کرنا۔
کم سے کم یا بغیر کسی اضافی تربیت کے سیاق و سباق کو لمبا کرنے کے لیے NTK-aware یا YaRN اسکیلنگ کا استعمال۔
تخمینہ کے وقت RoPE پوزیشنوں کو دوبارہ اسکیل کرکے بغیر کسی کٹے ہوئے طویل چیٹ کی تاریخیں پیش کرنا۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
YaRN اور سیاق و سباق کی لمبائی کی توسیع
اکثر پوچھے گئے سوالات
What is Position Interpolation for Context Extension?
پوزیشن انٹرپولیشن (PI) ایک ایسی تکنیک ہے جو ایک لینگویج ماڈل کے قابل استعمال سیاق و سباق کی کھڑکی کو اس کی تربیت کی لمبائی سے کہیں زیادہ بڑھاتی ہے اور پوزیشنل انڈیکسز کو ایکسٹرا پولیٹ کرنے کے بجائے ان کو ری اسکیل کرتی ہے۔ یہ 2K یا 4K ٹوکن پر تربیت یافتہ ماڈل کو صرف ہلکی فائن ٹیوننگ کے ساتھ 32K یا اس سے زیادہ ہینڈل کرنے دیتا ہے۔
پوزیشن انٹرپولیشن کا بنیادی خیال کیا ہے؟
PI پوزیشن کے اشاریہ جات کو ایکسٹینشن فیکٹر کے ذریعے تقسیم کرتا ہے، طویل ترتیب کو دوبارہ ان ڈسٹری بیوشن رینج میں نقشہ بناتا ہے جو ماڈل پہلے ہی سیکھ چکا ہے۔
پوزیشن انٹرپولیشن کس پوزیشنل انکوڈنگ اسکیم سے سب سے زیادہ وابستہ ہے؟
PI کو RoPE پر مبنی ماڈلز کے لیے مقبول بنایا گیا تھا، گردشی زاویوں کو دوبارہ اسکیل کرتے ہوئے تاکہ وہ تربیت یافتہ تعدد کے اندر رہیں۔
لمبے سیاق و سباق میں بولی ایکسٹراپولیشن کیوں ناکام ہو جاتی ہے؟
لمبے تسلسل کو کھانا کھلانا ماڈل کو حد سے باہر کے زاویوں پر ظاہر کرتا ہے جس پر اس نے کبھی تربیت نہیں کی تھی، جس کی وجہ سے توجہ اور کارکردگی میں تیزی سے کمی آتی ہے۔
اگر سیاق و سباق کی طوالت کو L سے L' تک بڑھایا جائے، تو بنیادی PI کا اطلاق m پوزیشن پر کیا ہوتا ہے؟
PI نقشے m سے m کو فیکٹر s = L'/L سے تقسیم کرتے ہوئے، لمبی رینج کو اصل تربیت یافتہ وقفہ میں سکیڑ کر۔
NTK-آگاہی اسکیلنگ اور YaRN سادہ پوزیشن انٹرپولیشن پر کیسے بہتر ہوتے ہیں؟
یہ طریقے کم اور اعلی تعدد کو مختلف طریقے سے پیمانہ کرتے ہیں، لمبے سیاق و سباق تک پہنچنے کے ساتھ ساتھ عمدہ مقامی پوزیشن کی تفصیل کو برقرار رکھتے ہیں۔