گائیڈ سے منسلک کوئز · مشکل سطح

YaRN اور سیاق و سباق کی لمبائی کی توسیع کوئز

چیک کرتا ہے کہ YaRN کس طرح RoPE فریکوئنسی کو ایڈجسٹ کرتا ہے، مقامی تفصیلات کو محفوظ رکھتا ہے، توجہ کا درجہ حرارت پیمانہ کرتا ہے اور فائن ٹیوننگ کے ساتھ سیاق و سباق کو بڑھاتا ہے۔

متعلقہ گائیڈ کے راستےیارن اور سیاق و سباق کی لمبائی کی توسیع
سوال 1 کی 8

سیاق و سباق کو بڑھانے کے لیے YaRN کس پوزیشن انکوڈنگ طریقہ میں ترمیم کرتا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. سیاق و سباق کو بڑھانے کے لیے YaRN کس پوزیشن انکوڈنگ طریقہ میں ترمیم کرتا ہے؟
    • روٹری پوزیشن ایمبیڈنگز (RoPE)
    • مطلق سائنوسائیڈل سرایت
    • پوزیشنی تلاش کی میزیں سیکھیں۔
    • صرف رشتہ دار تعصب میٹرکس
  2. کیا غلط ہوتا ہے جب ایک RoPE ماڈل اپنی تربیت کی لمبائی سے زیادہ طویل ترتیب دیکھتا ہے؟
    • ٹوکنائزر کریش ہو جاتا ہے۔
    • گردش کے زاویے نادیدہ حدود میں داخل ہوتے ہیں اور کارکردگی گر جاتی ہے۔
    • ماڈل صرف صفر نکالتا ہے۔
    • گریڈینٹس بالکل ایک ہو جاتے ہیں۔
  3. YaRN مختلف RoPE فریکوئنسی کے طول و عرض کا علاج کیسے کرتا ہے؟
    • یہ تمام جہتوں کو یکساں طور پر جوڑتا ہے۔
    • یہ اعلی تعدد کے طول و عرض کو حذف کرتا ہے۔
    • یہ کم تعدد کے طول و عرض کو انٹرپول کرتا ہے جبکہ زیادہ تر اعلی تعدد والے کو محفوظ رکھتا ہے
    • یہ ہر جہت کو بے ترتیب بناتا ہے۔
  4. تعدد کو دوبارہ اسکیل کرنے کے علاوہ، YaRN کس اضافی ایڈجسٹمنٹ کا اطلاق کرتا ہے؟
    • ایک نیا ٹوکنائزر
    • تہوں کی تعداد کو دوگنا کرنا
    • پرت نارملائزیشن کو ہٹانا
    • توجہ کا درجہ حرارت (سافٹ میکس اسکیلنگ) ایڈجسٹمنٹ
  5. بے ہودہ مداخلت پر YaRN کا ایک اہم عملی فائدہ کیا ہے؟
    • یہ بہت کم فائن ٹیوننگ ڈیٹا اور اقدامات کے ساتھ طویل سیاق و سباق تک پہنچتا ہے۔
    • اسے کسی ماڈل کی ضرورت نہیں ہے۔
    • یہ صرف 512 ٹوکن کے نیچے کام کرتا ہے۔
    • یہ GPUs کی ضرورت کو ختم کرتا ہے۔
  6. تمام RoPE فریکوئنسیوں کا بولی لکیری انٹرپولیشن کیوں نقصان دہ ہے؟
    • یہ صرف تعصب کی شرائط کو متاثر کرتا ہے۔
    • یہ اعلی تعدد کے طول و عرض کو کمپریس کرتا ہے جو مقامی تفصیلات کو انکوڈ کرتا ہے۔
    • یہ ماڈل کو بڑا بناتا ہے۔
    • یہ الفاظ کے سائز کو تبدیل کرتا ہے۔
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context