গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

YaRN এবং প্রসঙ্গ দৈর্ঘ্য এক্সটেনশন কুইজ

ইয়াআরএন কীভাবে RoPE ফ্রিকোয়েন্সি সামঞ্জস্য করে, স্থানীয় বিশদ সংরক্ষণ করে, মনোযোগের তাপমাত্রা স্কেল করে এবং ফাইন-টিউনিং সহ প্রসঙ্গ প্রসারিত করে তা পরীক্ষা করে।

প্রশ্ন 1 এর 8

প্রসঙ্গ প্রসারিত করতে YaRN কোন অবস্থান-এনকোডিং পদ্ধতি পরিবর্তন করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. প্রসঙ্গ প্রসারিত করতে YaRN কোন অবস্থান-এনকোডিং পদ্ধতি পরিবর্তন করে?
    • রোটারি পজিশন এমবেডিং (RoPE)
    • পরম সাইনোসয়েডাল এম্বেডিং
    • অবস্থানগত লুকআপ টেবিল শিখেছি
    • শুধুমাত্র আপেক্ষিক পক্ষপাতের ম্যাট্রিক্স
  2. যখন একটি RoPE মডেল তার প্রশিক্ষণের দৈর্ঘ্যের চেয়ে দীর্ঘ ক্রমগুলি দেখে তখন কী ভুল হয়?
    • টোকেনাইজার ক্র্যাশ হয়
    • ঘূর্ণন কোণগুলি অদেখা পরিসরে প্রবেশ করে এবং কর্মক্ষমতা ধসে পড়ে
    • মডেল শুধুমাত্র শূন্য আউটপুট
    • গ্রেডিয়েন্ট ঠিক এক হয়ে যায়
  3. ইয়াআরএন কীভাবে বিভিন্ন RoPE ফ্রিকোয়েন্সি মাত্রার সাথে আচরণ করে?
    • এটা সমানভাবে সব মাত্রা interpolates
    • এটি উচ্চ-ফ্রিকোয়েন্সি মাত্রা মুছে দেয়
    • এটি উচ্চ-ফ্রিকোয়েন্সিগুলিকে অনেকাংশে সংরক্ষণ করার সময় কম-ফ্রিকোয়েন্সি মাত্রাগুলিকে ইন্টারপোলেট করে
    • এটি প্রতিটি মাত্রাকে এলোমেলো করে
  4. ফ্রিকোয়েন্সি রিস্কেল করার পাশাপাশি, ইয়াআরএন কী অতিরিক্ত সমন্বয় প্রয়োগ করে?
    • একটি নতুন টোকেনাইজার
    • স্তর সংখ্যা দ্বিগুণ
    • স্তর স্বাভাবিককরণ অপসারণ
    • একটি মনোযোগ তাপমাত্রা (softmax স্কেলিং) সমন্বয়
  5. নিষ্পাপ ইন্টারপোলেশনের উপর YaRN-এর একটি মূল ব্যবহারিক সুবিধা কী?
    • এটি অনেক কম সূক্ষ্ম-টিউনিং ডেটা এবং পদক্ষেপের সাথে দীর্ঘ প্রসঙ্গে পৌঁছায়
    • এর কোনো মডেলের প্রয়োজন নেই
    • এটি শুধুমাত্র 512 টোকেনের নিচে কাজ করে
    • এটি জিপিইউগুলির প্রয়োজনীয়তা দূর করে
  6. কেন সমস্ত RoPE ফ্রিকোয়েন্সির নিষ্পাপ লিনিয়ার ইন্টারপোলেশন ক্ষতিকারক?
    • এটি শুধুমাত্র পক্ষপাতের শর্তাবলীকে প্রভাবিত করে
    • এটি উচ্চ-ফ্রিকোয়েন্সি মাত্রা সংকুচিত করে যা স্থানীয় বিবরণ এনকোড করে
    • এটি মডেলটিকে আরও বড় করে তোলে
    • এটি শব্দভান্ডারের আকার পরিবর্তন করে
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context