اگلااگلا گائیڈ
سیاق و سباق کی توسیع کے لیے پوزیشن انٹرپولیشن
زبان AI
ٹیکنیکل گائیڈ
YaRN اور سیاق و سباق کی لمبائی کی توسیع
YaRN (ابھی تک ایک اور RoPE ایکسٹینشن) ماڈل کی قابل استعمال سیاق و سباق کی کھڑکی کو اس سے کہیں زیادہ پھیلانے کی ایک موثر تکنیک ہے جس پر اسے تربیت دی گئی تھی۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
گہرا غوطہ
زیادہ تر جدید LLMs ٹوکن پوزیشنز کو RoPE (روٹری پوزیشن ایمبیڈنگز) کے ساتھ انکوڈ کرتے ہیں، جو پوزیشن سے منسلک زاویوں سے سوال اور کلیدی ویکٹر کو گھماتے ہیں۔ جب آپ ٹریننگ کی لمبائی سے زیادہ لمبے سلسلے کو فیڈ کرتے ہیں، تو یہ گردشیں ان دیکھی حدود میں داخل ہوتی ہیں اور ماڈل ٹوٹ جاتا ہے۔ YaRN، جو 2023 میں Bowen Peng اور معاونین کے ذریعے متعارف کرایا گیا تھا، اسے NTK- آگاہ انٹرپولیشن فی فریکوئنسی لاگو کرتے ہوئے ٹھیک کرتا ہے: یہ اعلی تعدد کے طول و عرض (جو مقامی، مختصر فاصلے کے رشتوں کو پکڑتا ہے) کو زیادہ تر اچھوتا چھوڑ دیتا ہے جب کہ کم تعدد کے طول و عرض (جو طویل فاصلے کی پوزیشن کو ٹریک کرتا ہے)۔ YaRN طویل سیاق و سباق سے آنے والی اینٹروپی تبدیلیوں کا مقابلہ کرنے کے لیے توجہ کے لیے درجہ حرارت کی ایڈجسٹمنٹ بھی شامل کرتا ہے۔ نتیجہ اعداد و شمار کے صرف ایک چھوٹے سے حصے پر فائن ٹیوننگ کے بعد مضبوط سیاق و سباق کی کارکردگی ہے اور ایسے اقدامات جن کی سادہ لوحی کی ضرورت ہوتی ہے۔
حقیقی دنیا کا نفاذ
مختصر فائن ٹیوننگ کے ساتھ طویل دستاویز کے سوالوں کے جوابات کے لیے کھلے 4K سیاق و سباق کے ماڈل کو 32K یا 128K تک بڑھانا
بازیافت کے بڑھے ہوئے نظام کو چالو کرنا تاکہ بغیر کسی کٹے ہوئے متعدد مربوط حصئوں کو شامل کیا جا سکے۔
پاورنگ کوڈ اسسٹنٹ جن کو ایک پرامپٹ میں ایک پوری بڑی ریپوزٹری فائل یا متعدد فائلوں کی ضرورت ہوتی ہے۔
طویل کثیر موڑ گفتگو کے لیے ایک بنیادی ماڈل کو اپنانا جو بڑی چیٹ ہسٹری جمع کرتی ہے۔
YaRN کا مستقبل اور سیاق و سباق کی لمبائی کی توسیع
سیاق و سباق کی توسیع اب معیاری مشق ہے: کھلے ماڈلز معمول کے مطابق 128K ٹوکن یا اس سے زیادہ تک پہنچنے والے YaRN کے توسیعی ورژن بھیجتے ہیں۔ تحقیق ان طریقوں کی طرف بڑھ رہی ہے جو سیاق و سباق کو صفر یا قریب صفر ٹھیک ٹیوننگ کے ساتھ بڑھاتے ہیں، توجہ کے نمونوں کی چالوں کے ساتھ RoPE ریسکیلنگ کو جوڑتے ہیں، اور صرف سروں کے بجائے پوری ونڈو میں معیار کو برقرار رکھتے ہیں۔ پہلے سے تربیت میں ان تکنیکوں کے سخت انضمام کی توقع کریں تاکہ لمبا سیاق و سباق ریٹروفٹ کی بجائے مقامی ہو۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the YaRN and Context Length Extension quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is YaRN and Context Length Extension?
YaRN (ابھی تک ایک اور RoPE ایکسٹینشن) ماڈل کی قابل استعمال سیاق و سباق کی کھڑکی کو اس سے کہیں زیادہ پھیلانے کی ایک موثر تکنیک ہے جس پر اسے تربیت دی گئی تھی۔ یہ چالاکی کے ساتھ روٹری پوزیشن ایمبیڈنگز کو دوبارہ اسکیل کرتا ہے تاکہ ایک ماڈل جس پر تربیت یافتہ ہو، کہہ لیں، 4K ٹوکن کم سے کم فائن ٹیوننگ کے ساتھ 32K یا اس سے زیادہ کو سنبھال سکتا ہے۔
سیاق و سباق کو بڑھانے کے لیے YaRN کس پوزیشن انکوڈنگ طریقہ میں ترمیم کرتا ہے؟
YaRN، جس کے نام کا مطلب ایک اور RoPE ایکسٹینشن ہے، زیادہ تر جدید LLMs میں استعمال ہونے والی روٹری پوزیشن ایمبیڈنگز کو دوبارہ اسکیل کرتا ہے۔
کیا غلط ہوتا ہے جب ایک RoPE ماڈل اپنی تربیت کی لمبائی سے زیادہ طویل ترتیب دیکھتا ہے؟
تربیت سے آگے کی پوزیشنیں گھومنے والے زاویے پیدا کرتی ہیں جو ماڈل نے کبھی نہیں دیکھے، لہذا توجہ کا برتاؤ تیزی سے کم ہوتا ہے۔
YaRN مختلف RoPE فریکوئنسی کے طول و عرض کا علاج کیسے کرتا ہے؟
YaRN ایک NTK بائی پارٹس ریمپ کا استعمال کرتا ہے جو طویل طول موج کی کم تعدد کے مدھم کو انٹرپول کرتا ہے اور شارٹ رینج ہائی فریکوئنسی مدھم زیادہ تر برقرار رہتا ہے۔
تعدد کو دوبارہ اسکیل کرنے کے علاوہ، YaRN کس اضافی ایڈجسٹمنٹ کا اطلاق کرتا ہے؟
YaRN اینٹروپی شفٹوں کا مقابلہ کرنے کے لیے توجہ کے لاگٹس میں درجہ حرارت کی پیمائش کا اضافہ کرتا ہے جو سیاق و سباق کے بڑھنے کے ساتھ ہوتی ہے۔
بے ہودہ مداخلت پر YaRN کا ایک اہم عملی فائدہ کیا ہے؟
YaRN ڈیٹا کے ایک چھوٹے سے حصے پر فائن ٹیوننگ کے بعد طویل سیاق و سباق کا مضبوط معیار حاصل کرتا ہے جس کے لیے سادہ طریقہ کی ضرورت ہوتی ہے۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔