YaRN এবং প্রসঙ্গ দৈর্ঘ্য এক্সটেনশন

ইয়াআরএন (এখনও আরেকটি রোপিই এক্সটেনশন) একটি মডেলের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে প্রসারিত করার জন্য একটি দক্ষ কৌশল যা এটিকে প্রশিক্ষিত করা হয়েছিল তার থেকেও বেশি। এটি চতুরতার সাথে ঘূর্ণমান অবস্থান এমবেডিংগুলিকে পুনরায় স্কেল করে যাতে প্রশিক্ষিত একটি মডেল, বলুন, 4K টোকেন ন্যূনতম ফাইন-টিউনিং সহ 32K বা তার বেশি পরিচালনা করতে পারে৷

ইয়াআরএন, যার নামের অর্থ হল আরেকটা রোপিই এক্সটেনশন, বেশিরভাগ আধুনিক এলএলএম-এ ব্যবহৃত রোটারি পজিশন এমবেডিংগুলিকে রিস্কেল করে।

প্রশিক্ষণের বাইরে অবস্থানগুলি ঘূর্ণন কোণ তৈরি করে যা মডেলটি কখনও দেখেনি, তাই মনোযোগের আচরণ তীব্রভাবে হ্রাস পায়।

ইয়াআরএন একটি এনটিকে-বাই-পার্টস র‌্যাম্প ব্যবহার করে যা দীর্ঘ-তরঙ্গদৈর্ঘ্যের কম-ফ্রিকোয়েন্সি ডিমসকে ইন্টারপোলেট করে এবং স্বল্প-পরিসরের উচ্চ-ফ্রিকোয়েন্সি ম্লানগুলি বেশিরভাগই অক্ষত রাখে।

YaRN প্রসঙ্গ বৃদ্ধির সাথে সাথে ঘটতে থাকা এনট্রপি শিফ্টগুলিকে প্রতিহত করার জন্য মনোযোগ লগিটগুলিতে একটি তাপমাত্রা স্কেলিং যুক্ত করে।

YaRN নিখুঁত পদ্ধতিতে প্রয়োজনীয় ডেটার একটি ছোট অংশে সূক্ষ্ম-টিউনিং করার পরে শক্তিশালী দীর্ঘ-প্রসঙ্গ গুণমান অর্জন করে।