গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
YaRN এবং প্রসঙ্গ দৈর্ঘ্য এক্সটেনশন কুইজ
ইয়াআরএন কীভাবে RoPE ফ্রিকোয়েন্সি সামঞ্জস্য করে, স্থানীয় বিশদ সংরক্ষণ করে, মনোযোগের তাপমাত্রা স্কেল করে এবং ফাইন-টিউনিং সহ প্রসঙ্গ প্রসারিত করে তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
প্রসঙ্গ প্রসারিত করতে YaRN কোন অবস্থান-এনকোডিং পদ্ধতি পরিবর্তন করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- প্রসঙ্গ প্রসারিত করতে YaRN কোন অবস্থান-এনকোডিং পদ্ধতি পরিবর্তন করে?
- রোটারি পজিশন এমবেডিং (RoPE)
- পরম সাইনোসয়েডাল এম্বেডিং
- অবস্থানগত লুকআপ টেবিল শিখেছি
- শুধুমাত্র আপেক্ষিক পক্ষপাতের ম্যাট্রিক্স
- যখন একটি RoPE মডেল তার প্রশিক্ষণের দৈর্ঘ্যের চেয়ে দীর্ঘ ক্রমগুলি দেখে তখন কী ভুল হয়?
- টোকেনাইজার ক্র্যাশ হয়
- ঘূর্ণন কোণগুলি অদেখা পরিসরে প্রবেশ করে এবং কর্মক্ষমতা ধসে পড়ে
- মডেল শুধুমাত্র শূন্য আউটপুট
- গ্রেডিয়েন্ট ঠিক এক হয়ে যায়
- ইয়াআরএন কীভাবে বিভিন্ন RoPE ফ্রিকোয়েন্সি মাত্রার সাথে আচরণ করে?
- এটা সমানভাবে সব মাত্রা interpolates
- এটি উচ্চ-ফ্রিকোয়েন্সি মাত্রা মুছে দেয়
- এটি উচ্চ-ফ্রিকোয়েন্সিগুলিকে অনেকাংশে সংরক্ষণ করার সময় কম-ফ্রিকোয়েন্সি মাত্রাগুলিকে ইন্টারপোলেট করে
- এটি প্রতিটি মাত্রাকে এলোমেলো করে
- ফ্রিকোয়েন্সি রিস্কেল করার পাশাপাশি, ইয়াআরএন কী অতিরিক্ত সমন্বয় প্রয়োগ করে?
- একটি নতুন টোকেনাইজার
- স্তর সংখ্যা দ্বিগুণ
- স্তর স্বাভাবিককরণ অপসারণ
- একটি মনোযোগ তাপমাত্রা (softmax স্কেলিং) সমন্বয়
- নিষ্পাপ ইন্টারপোলেশনের উপর YaRN-এর একটি মূল ব্যবহারিক সুবিধা কী?
- এটি অনেক কম সূক্ষ্ম-টিউনিং ডেটা এবং পদক্ষেপের সাথে দীর্ঘ প্রসঙ্গে পৌঁছায়
- এর কোনো মডেলের প্রয়োজন নেই
- এটি শুধুমাত্র 512 টোকেনের নিচে কাজ করে
- এটি জিপিইউগুলির প্রয়োজনীয়তা দূর করে
- কেন সমস্ত RoPE ফ্রিকোয়েন্সির নিষ্পাপ লিনিয়ার ইন্টারপোলেশন ক্ষতিকারক?
- এটি শুধুমাত্র পক্ষপাতের শর্তাবলীকে প্রভাবিত করে
- এটি উচ্চ-ফ্রিকোয়েন্সি মাত্রা সংকুচিত করে যা স্থানীয় বিবরণ এনকোড করে
- এটি মডেলটিকে আরও বড় করে তোলে
- এটি শব্দভান্ডারের আকার পরিবর্তন করে
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context