প্রসঙ্গ এক্সটেনশনের জন্য অবস্থান ইন্টারপোলেশন
পজিশন ইন্টারপোলেশন (PI) হল এমন একটি কৌশল যা একটি ভাষা মডেলের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে তার প্রশিক্ষণের দৈর্ঘ্যের বাইরে প্রসারিত করে অবস্থানগত সূচকগুলিকে এক্সট্রাপোলেট করার পরিবর্তে রিস্কেল করে।
ওভারভিউ
It lets a model trained on, say, 2K or 4K tokens handle 32K or more with only light fine-tuning.
গভীর ডুব
বেশিরভাগ আধুনিক এলএলএমগুলি রোটারি পজিশনাল এম্বেডিং (RoPE) ব্যবহার করে, যা কোয়েরি এবং কী ভেক্টরগুলিতে প্রয়োগ করা ঘূর্ণন কোণ হিসাবে অবস্থানকে এনকোড করে। আপনি যদি সহজভাবে লম্বা সিকোয়েন্স ফিড করেন, তাহলে মডেলটি পজিশন এবং ঘূর্ণন কোণগুলি দেখে যা এটি কখনই প্রশিক্ষিত হয়নি এবং কর্মক্ষমতা ধসে পড়ে কারণ মনোযোগ সীমার বাইরের ফ্রিকোয়েন্সিতে খারাপভাবে এক্সট্রাপোলেট করে। পজিশন ইন্টারপোলেশন এক্সট্রাপোলেশন এড়ায়: দৈর্ঘ্য L থেকে L' দৈর্ঘ্য পর্যন্ত প্রসারিত করতে, এটি প্রতিটি অবস্থান সূচককে L'/L ফ্যাক্টর দ্বারা ভাগ করে, নতুন পরিসরকে প্রশিক্ষিত ব্যবধানে আবার চেপে ধরে। মডেলটি এখন কেবলমাত্র ইন-ডিস্ট্রিবিউশন অ্যাঙ্গেল দেখে, শুধু আরও ঘনত্বে ব্যবধানে। একটি সংক্ষিপ্ত সূক্ষ্ম সুর (প্রায়শই কয়েকশ থেকে হাজার ধাপ) এটিকে সূক্ষ্ম ব্যবধানের সাথে খাপ খাইয়ে নিতে দেয়, প্রাক-প্রশিক্ষণ খরচের একটি ক্ষুদ্র অংশে স্থিতিশীল দীর্ঘ-প্রসঙ্গ আচরণ প্রদান করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
RoPE সূক্ষ্ম থেকে মোটা পর্যন্ত বিস্তৃত ফ্রিকোয়েন্সিতে মাত্রা জোড়া ঘোরে। PI অবস্থান m থেকে m/s যেখানে s = L'/L, তাই ঘূর্ণন কোণগুলি এক্সট্রাপোলেট করার পরিবর্তে প্রশিক্ষিত সীমার মধ্যে থাকে। NTK-সচেতন স্কেলিং এবং YaRN-এর মতো ফ্রিকোয়েন্সি-সচেতন রূপগুলি আরও এগিয়ে যায়: তারা কম ফ্রিকোয়েন্সি কম এবং উচ্চ ফ্রিকোয়েন্সি বেশি স্কেল করে (বা তরঙ্গদৈর্ঘ্যের দ্বারা ইন্টারপোলেট), উচ্চ-ফ্রিকোয়েন্সি স্থানীয় বিশদ সংরক্ষণ করে এবং কম-ফ্রিকোয়েন্সি দীর্ঘ-পরিসরের পৌঁছানোর প্রসারিত করে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
প্রসঙ্গ এক্সটেনশনের জন্য অবস্থান ইন্টারপোলেশনের ভবিষ্যত
প্রসঙ্গ এক্সটেনশন দ্রুত চলমান. NTK-সচেতন RoPE স্কেলিং, YaRN, এবং ডায়নামিক/লং-RoPE-এর মতো পদ্ধতিগুলি এখন উইন্ডোগুলিকে কয়েক হাজার বা এমনকি লক্ষ লক্ষ টোকেনে ঠেলে দেয়, কখনও কখনও সামান্য বা কোনও ফাইন-টিউনিং ছাড়াই। এই স্কেলিং কৌশলগুলি দক্ষ মনোযোগ এবং কেভি-ক্যাশে কম্প্রেশনের সাথে মিলিত হবে এবং মডেল কনফিগারেশনগুলিতে স্ট্যান্ডার্ড নব হয়ে উঠবে বলে আশা করুন। সম্পূর্ণ উইন্ডো জুড়ে সঠিকতা উচ্চ রাখার উপর গবেষণা চলতে থাকে তাই দীর্ঘ প্রসঙ্গগুলি প্রকৃত অর্থে ব্যবহারযোগ্য, শুধুমাত্র নামমাত্র সমর্থিত নয়।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি 4K-প্রশিক্ষিত LLaMA মডেলকে 32K প্রসঙ্গে প্রসারিত করা হচ্ছে সংক্ষিপ্ত ফাইন-টিউনিংয়ের পরে দীর্ঘ নথির সংক্ষিপ্তসারের জন্য।
ক্রস-ফাইল প্রশ্নের উত্তর দেওয়ার জন্য একটি প্রম্পটে একটি সম্পূর্ণ কোডবেস বা বড় আইনি চুক্তি লোড করা হচ্ছে।
এনটিকে-সচেতন বা ইয়াআরএন স্কেলিং ব্যবহার করে ন্যূনতম বা কোনও অতিরিক্ত প্রশিক্ষণ ছাড়াই প্রসঙ্গ দীর্ঘ করা।
অনুমান সময়ে RoPE পজিশন রিস্কেল করে ছাঁটাই ছাড়াই দীর্ঘ চ্যাটের ইতিহাস পরিবেশন করা।
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
YaRN এবং প্রসঙ্গ দৈর্ঘ্য এক্সটেনশন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Position Interpolation for Context Extension?
পজিশন ইন্টারপোলেশন (PI) হল এমন একটি কৌশল যা একটি ভাষা মডেলের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে তার প্রশিক্ষণের দৈর্ঘ্যের বাইরে প্রসারিত করে অবস্থানগত সূচকগুলিকে এক্সট্রাপোলেট করার পরিবর্তে রিস্কেল করে। এটি 2K বা 4K টোকেনগুলির উপর প্রশিক্ষিত একটি মডেলকে শুধুমাত্র হালকা ফাইন-টিউনিং সহ 32K বা তার বেশি হ্যান্ডেল করতে দেয়৷
পজিশন ইন্টারপোলেশনের মূল ধারণা কী?
PI এক্সটেনশন ফ্যাক্টর দ্বারা অবস্থানের সূচকগুলিকে ভাগ করে, মডেলটি ইতিমধ্যে শিখে নেওয়া ইন-ডিস্ট্রিবিউশন রেঞ্জে দীর্ঘ ক্রমটিকে ম্যাপ করে৷
পজিশন ইন্টারপোলেশন কোন পজিশনাল এনকোডিং স্কিমের সাথে সবচেয়ে বেশি যুক্ত?
RoPE-ভিত্তিক মডেলগুলির জন্য PI জনপ্রিয় হয়েছিল, ঘূর্ণন কোণগুলিকে রিস্কেল করে যাতে তারা প্রশিক্ষিত ফ্রিকোয়েন্সির মধ্যে থাকে।
কেন দীর্ঘ প্রসঙ্গের নিষ্পাপ এক্সট্রাপোলেশন ব্যর্থ হয়?
লম্বা সিকোয়েন্স খাওয়ানো মডেলটিকে রেঞ্জের বাইরের কোণে উন্মুক্ত করে দেয় যা এটি কখনই প্রশিক্ষিত হয়নি, যার ফলে মনোযোগ এবং কর্মক্ষমতা তীব্রভাবে হ্রাস পায়।
যদি প্রসঙ্গ দৈর্ঘ্য L থেকে L' পর্যন্ত প্রসারিত করা হয়, তাহলে বেসিক PI কোন রিস্কেলিং ফ্যাক্টর m অবস্থানে প্রযোজ্য হবে?
PI মানচিত্র m থেকে m কে ফ্যাক্টর s = L'/L দ্বারা ভাগ করে, মূল প্রশিক্ষিত ব্যবধানে দীর্ঘ পরিসরকে সংকুচিত করে।
NTK-সচেতন স্কেলিং এবং YaRN কীভাবে প্লেইন পজিশন ইন্টারপোলেশনে উন্নতি করে?
এই পদ্ধতিগুলি কম এবং উচ্চ ফ্রিকোয়েন্সিগুলিকে ভিন্নভাবে স্কেল করে, সূক্ষ্ম-দানাযুক্ত স্থানীয় অবস্থানগত বিশদ বজায় রাখে এবং এখনও দীর্ঘ প্রসঙ্গে পৌঁছায়।