طویل سیاق و سباق کوئز کے لیے پوزیشنی انٹرپولیشن

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. Positional Interpolation کے پیچھے بنیادی خیال کیا ہے؟
   • نئی پوزیشن کے اشاریہ جات کو اس حد میں نچوڑنا جس پر ماڈل کو پہلے ہی تربیت دی گئی تھی۔
   • ہر لمبائی کے لیے شروع سے بالکل نئے ماڈل کو تربیت دینا
   • پوزیشنی معلومات کو مکمل طور پر ہٹانا
   • اہمیت کے لحاظ سے ٹوکن کو چھانٹنا
2. لمبے عہدوں پر سادہ لوح کیوں ناکام ہو جاتا ہے؟
   • یہ بہت کم میموری استعمال کرتا ہے۔
   • یہ توجہ کے اسکور کو انتہائی بڑی، غیر مستحکم اقدار تک اڑا سکتا ہے۔
   • یہ ہمیشہ ایک ہی ٹوکن لوٹاتا ہے۔
   • اس کے لیے ایک مختلف ٹوکنائزر کی ضرورت ہے۔
3. LLaMA کو 32K تک بڑھانے کے لیے اصل PI کام کو تقریباً کتنی باریک ٹوننگ کی ضرورت تھی؟
   • بالکل ٹھیک ٹیوننگ نہیں۔
   • تقریباً 1 ملین قدم
   • تقریباً 1,000 قدم
   • ایک مکمل پری ٹریننگ رن
4. اگر آپ فیکٹر s سے سیاق و سباق کو بڑھاتے ہیں، تو PI پوزیشن m کو کیسے تبدیل کرتا ہے؟
   • یہ m سے m اوقات s کا نقشہ بناتا ہے۔
   • یہ m سے m مربع کا نقشہ بناتا ہے۔
   • یہ ایم کو کوئی تبدیلی نہیں چھوڑتا ہے۔
   • یہ m سے m کو s سے تقسیم کرکے نقشہ بناتا ہے۔
5. PI نے YaRN جیسے بعد کے طریقوں کو کیسے متاثر کیا؟
   • یہ بنیادی لائن بن گئی جس پر تعدد سے آگاہی کے طریقوں میں بہتری آئی
   • اسے ترک کر دیا گیا اور اس کا کبھی حوالہ نہیں دیا گیا۔
   • اس نے ٹرانسفارمر فن تعمیر کی جگہ لے لی
   • یہ صرف تصویری ماڈلز پر لاگو ہوتا ہے۔
6. پوزیشنل انٹرپولیشن بنیادی طور پر کس پوزیشن کی انکوڈنگ کو نشانہ بناتا ہے؟
   • ایک گرم انکوڈنگز
   • RoPE (روٹری پوزیشن ایمبیڈنگز)
   • Word2Vec ویکٹر
   • الفاظ کا بیگ شمار ہوتا ہے۔
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000