YaRN প্রসঙ্গ উইন্ডো স্কেলিং
ইয়াআরএন (এখনও আরেকটি রোপিই এক্সটেনশন) হল এমন একটি কৌশল যা একটি ট্রান্সফরমারের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে ন্যূনতম ফাইন-টিউনিং সহ যে বিষয়ে প্রশিক্ষণ দেওয়া হয়েছিল তার থেকে অনেক বেশি প্রসারিত করে।
ওভারভিউ
It matters because it lets existing models handle much longer documents without retraining from scratch.
গভীর ডুব
বেশিরভাগ আধুনিক এলএলএমগুলি রোটারি পজিশন এমবেডিংস (RoPE) ব্যবহার করে শব্দের অবস্থানগুলিকে এনকোড করে, যা প্রশিক্ষণের সময় মডেলটি যে দৈর্ঘ্য দেখেছিল তা পর্যন্ত ভালভাবে কাজ করে। একটি দীর্ঘ ক্রম মধ্যে ফিড এবং মডেল খারাপভাবে অধঃপতন. YaRN একটি ফ্রিকোয়েন্সি-সচেতন উপায়ে RoPE-এর ঘূর্ণন ফ্রিকোয়েন্সিগুলিকে রিস্কেল করার মাধ্যমে এটি সমাধান করে: উচ্চ-ফ্রিকোয়েন্সি মাত্রাগুলি (যা স্থানীয়, কাছাকাছি সম্পর্কগুলিকে ক্যাপচার করে) বেশিরভাগই অস্পর্শিত থাকে, যখন কম-ফ্রিকোয়েন্সি মাত্রাগুলি (যা দীর্ঘ-সীমার অবস্থান ক্যাপচার করে) ইন্টারপোলেট করা হয়। দীর্ঘ পরিসরে লজিটগুলিকে ভালভাবে ব্যবহার করতে এটি মনোযোগের জন্য একটি তাপমাত্রা সামঞ্জস্য যোগ করে। LLaMA মডেলগুলিতে প্রদর্শিত ফলাফল, মূল প্রশিক্ষণ ডেটার মাত্র 0.1% এবং কয়েকশো সূক্ষ্ম-টিউনিং পদক্ষেপ ব্যবহার করে 4K থেকে 64K-128K টোকেন পর্যন্ত প্রসঙ্গ প্রসারিত করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
RoPE ক্যোয়ারী এবং কী ভেক্টরকে অবস্থানের সমানুপাতিক কোণ এবং প্রতি-মাত্রা ফ্রিকোয়েন্সি দ্বারা ঘোরায়। নিষ্পাপ রৈখিক ইন্টারপোলেশন (পজিশন ইন্টারপোলেশন) সমস্ত ফ্রিকোয়েন্সি সমানভাবে স্কোয়াশ করে, স্থানীয় বিস্তারিত ক্ষতি করে। ইয়াআরএন এর পরিবর্তে 'এনটিকে-বাই-পার্টস' প্রয়োগ করে: এটি শুধুমাত্র নিম্ন-ফ্রিকোয়েন্সি (দীর্ঘ-তরঙ্গদৈর্ঘ্য) মাত্রাগুলিকে প্রসারিত করে, উচ্চ-ফ্রিকোয়েন্সিগুলিকে একা ছেড়ে দেয় এবং তাদের মধ্যে র্যাম্প তৈরি করে। মনোযোগের তাপমাত্রার স্কেলিং এনট্রপি স্থানান্তরের জন্য ক্ষতিপূরণ দেয়, বর্ধিত দৈর্ঘ্যে নির্ভুলতা সংরক্ষণ করে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
ইয়াআরএন কনটেক্সট উইন্ডো স্কেলিং এর ভবিষ্যত
ইয়াআরএন-স্টাইল ফ্রিকোয়েন্সি-সচেতন এক্সটেনশন দীর্ঘ-প্রসঙ্গ মডেল শিপিংয়ের জন্য একটি ডিফল্ট উপাদান হয়ে উঠেছে; ল্যাবগুলি মিলিয়ন-টোকেন উইন্ডোর দিকে ঠেলে দেওয়ার সাথে সাথে বৈকল্পিক এবং উত্তরসূরিগুলি উপস্থিত হতে থাকে৷ দক্ষ মনোযোগ, কেভি-ক্যাশে কম্প্রেশন, এবং গতিশীল স্কেলিং যা প্রতি অনুরোধের সাথে ফ্লাইতে সামঞ্জস্য করে তার সাথে আরও কঠোর ইন্টিগ্রেশন আশা করুন। বৃহত্তর প্রবণতাটি 'কতদিন একটি মডেলকে প্রশিক্ষিত করা হয়েছিল' থেকে 'কতদিন এটি দরকারীভাবে পড়তে পারে'কে ডিকপলিং করছে, একটি ব্যয়বহুল স্থাপত্য প্রতিশ্রুতির পরিবর্তে দীর্ঘ প্রসঙ্গকে একটি সস্তা-প্রশিক্ষণ-পরবর্তী বৈশিষ্ট্য তৈরি করছে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি খোলা LLaMA মডেলকে 4K থেকে 128K টোকেন পর্যন্ত প্রসারিত করা যাতে এটি একটি পাসে একটি সম্পূর্ণ কোডবেস বা দীর্ঘ চুক্তি গ্রহণ করতে পারে
একটি চ্যাটবটকে পূর্বের বাঁকগুলিকে ছাঁটাই না করে খুব দীর্ঘ কথোপকথনের ইতিহাস ধরে রাখতে দেওয়া৷
বই-দৈর্ঘ্যের নথি বা বহু-ঘণ্টার প্রতিলিপির সারসংক্ষেপ যা বেস মডেলের নেটিভ উইন্ডোকে অতিক্রম করে
শুধুমাত্র একটি ছোট ফাইন-টিউনিং রান ব্যবহার করে দীর্ঘ-প্রসঙ্গ পুনরুদ্ধার কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে সস্তায় অভিযোজিত করা
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN Context Window Scaling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
প্রসঙ্গ উইন্ডোজ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is YaRN Context Window Scaling?
ইয়াআরএন (এখনও আরেকটি রোপিই এক্সটেনশন) হল এমন একটি কৌশল যা একটি ট্রান্সফরমারের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে ন্যূনতম ফাইন-টিউনিং সহ যে বিষয়ে প্রশিক্ষণ দেওয়া হয়েছিল তার থেকে অনেক বেশি প্রসারিত করে। এটি গুরুত্বপূর্ণ কারণ এটি বিদ্যমান মডেলগুলিকে স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ না দিয়ে অনেক দীর্ঘ নথি পরিচালনা করতে দেয়।
প্রসঙ্গ দৈর্ঘ্য প্রসারিত করতে YaRN কোন অবস্থান-এনকোডিং স্কিম পরিবর্তন করে?
YaRN এর অর্থ হল 'Yet another RoPE extensionN' এবং এটি রোটারি পজিশন এম্বেডিং-এ ব্যবহৃত ঘূর্ণন ফ্রিকোয়েন্সিগুলিকে রিস্কেল করার মাধ্যমে কাজ করে।
ইয়াআরএন কীভাবে উচ্চ-ফ্রিকোয়েন্সি বনাম কম-ফ্রিকোয়েন্সি RoPE মাত্রার সাথে আচরণ করে?
ইয়াআরএন-এর 'এনটিকে-বাই-পার্টস' পদ্ধতি স্থানীয় বিস্তারিত ক্ষতি এড়াতে কম-ফ্রিকোয়েন্সি (দীর্ঘ-পরিসর) গুলিকে ইন্টারপোলেট করার সময় উচ্চ-ফ্রিকোয়েন্সি (স্থানীয়) মাত্রা সংরক্ষণ করে।
স্ক্র্যাচ থেকে একটি দীর্ঘ-প্রসঙ্গ মডেল প্রশিক্ষণের চেয়ে YaRN-এর একটি মূল দক্ষতা সুবিধা কী?
YaRN মূল প্রশিক্ষণ ডেটার প্রায় 0.1% এবং অল্প সংখ্যক সূক্ষ্ম-টিউনিং পদক্ষেপ ব্যবহার করে প্রসঙ্গ প্রসারিত করতে পারে, পুনঃপ্রশিক্ষণের চেয়ে অনেক সস্তা।
ফ্রিকোয়েন্সি রিস্কেল করার পাশাপাশি, দীর্ঘ পরিসরের মনোযোগ স্থিতিশীল রাখতে YaRN কী অতিরিক্ত সমন্বয় প্রয়োগ করে?
এনট্রপি/লগিট শিফটের জন্য ক্ষতিপূরণ দিতে YaRN মনোযোগের তাপমাত্রা পরিবর্তন করে যা ঘটে যখন সিকোয়েন্স অনেক বেশি লম্বা হয়।
আপনি যদি একটি রোপিই মডেলের সিকোয়েন্সগুলিকে প্রশিক্ষিত করার চেয়ে অনেক বেশি সময় ধরে কোনো স্কেলিং ছাড়াই খাওয়ান তাহলে কী সমস্যা হয়?
RoPE অদেখা দীর্ঘ অবস্থানে খারাপভাবে সাধারণীকরণ করে, তাই ফ্রিকোয়েন্সি পুনরায় স্কেল করা না হলে গুণমান ধসে পড়ে।