দীর্ঘ প্রসঙ্গের জন্য অবস্থানগত ইন্টারপোলেশন
পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে।
ওভারভিউ
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
গভীর ডুব
2023 সালে Meta গবেষকরা (চেন এট আল.) দ্বারা প্রবর্তিত, পজিশনাল ইন্টারপোলেশন এই সত্যটি মোকাবেলা করে যে RoPE সহ মডেলগুলি প্রশিক্ষণের বাইরে অবস্থানে এক্সট্রাপোলেট করার সময় বিপর্যয়মূলকভাবে ব্যর্থ হয়। অন্তর্দৃষ্টিটি বিপরীতমুখী: মডেলটিকে বৃহত্তর অবস্থানের মানগুলি পরিচালনা করতে বলার পরিবর্তে যা এটি কখনও দেখেনি, PI একটি স্কেল ফ্যাক্টর দ্বারা আগত অবস্থানের সূচকগুলিকে ভাগ করে যাতে 8K মানচিত্র মূল 2K পরিসরে ফিরে আসে৷ যেহেতু মডেলটিকে সেই পরিসরে প্রশিক্ষিত করা হয়েছিল, তাই ঘূর্ণনগুলি বিতরণে থাকে৷ মাত্র 1,000টি ফাইন-টিউনিং ধাপের পর, একটি LLaMA মডেল এইভাবে 32K প্রসঙ্গ পর্যন্ত পরিচালনা করে। গবেষণাপত্রটি দেখিয়েছে যে এক্সট্রাপোলেশন মনোযোগের স্কোরগুলিকে বিশাল মানগুলিতে উড়িয়ে দিতে পারে, যখন ইন্টারপোলেশন তাদের আবদ্ধ এবং স্থিতিশীল রাখে, এই কারণেই এক্সট্রাপোলেশনের চেয়ে ইন্টারপোলেশন নাটকীয়ভাবে ভাল কাজ করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
PI অবস্থান m থেকে m/s কে রিস্কেল করে যেখানে s হল এক্সটেনশন ফ্যাক্টর (যেমন, নতুন দৈর্ঘ্য মূল দৈর্ঘ্য দ্বারা ভাগ করা)। RoPE-এর জন্য এটি কার্যকরভাবে সংলগ্ন অবস্থানের মধ্যে ঘূর্ণন ধাপকে সঙ্কুচিত করে, প্রশিক্ষিত কৌণিক পরিসরে আরও অবস্থান প্যাক করে। কাগজে তাত্ত্বিক আবদ্ধ দেখায় ইন্টারপোলেটেড মনোযোগের স্কোরগুলি ভালভাবে নিয়ন্ত্রিত থাকে, যেখানে সাদাসিধা এক্সট্রাপোলেশন প্রশিক্ষণে দেখা যে কোনও কিছুর চেয়ে বড় স্কোর অর্ডার তৈরি করতে পারে, সফটম্যাক্সকে অস্থিতিশীল করে।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
দীর্ঘ প্রসঙ্গের জন্য অবস্থানগত ইন্টারপোলেশনের ভবিষ্যত
পজিশনাল ইন্টারপোলেশন এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন সহ ফলো-আপের তরঙ্গের ভিত্তি হয়ে উঠেছে, যা স্থানীয় বিশদ সংরক্ষণের জন্য আরও বেছে বেছে ইন্টারপোলেশন করে। ট্র্যাজেক্টোরিটি এমন পদ্ধতিগুলির দিকে যা সামান্য বা কোন সূক্ষ্ম-সুরকরণের প্রয়োজন নেই এবং বেকিং দীর্ঘ-প্রসঙ্গ হ্যান্ডলিংকে প্রাক-প্রশিক্ষণের দিকে। PI একটি মূল্যবান বেসলাইন হিসাবে রয়ে গেছে এবং প্রায়শই 128K-প্লাস কনটেক্সট উইন্ডোতে দক্ষতার সাথে পৌঁছানোর জন্য নতুন ফ্রিকোয়েন্সি-সচেতন স্কিমগুলির সাথে মিলিত হয়।
বাস্তব-বিশ্ব বাস্তবায়ন
প্রায় 1,000 ফাইন-টিউনিং ধাপ সহ 8K-32K টোকেন পরিচালনা করতে একটি 2K-প্রসঙ্গ LLaMA মডেল প্রসারিত করা
স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ ছাড়াই দীর্ঘ-নথির সারাংশের জন্য একটি বিদ্যমান চ্যাট মডেলকে মানিয়ে নেওয়া
এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন উন্নত করে এমন ধারণাগত বেসলাইন হিসাবে পরিবেশন করা
সংক্ষিপ্ত উইন্ডোগুলির সাথে প্রাথমিকভাবে প্রশিক্ষিত মডেলগুলিতে দীর্ঘ-প্রসঙ্গ কোড বা আইনি-নথি বিশ্লেষণ সক্ষম করা
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Positional Interpolation for Long Context quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
প্রসঙ্গ এক্সটেনশনের জন্য অবস্থান ইন্টারপোলেশন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Positional Interpolation for Long Context?
পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে। অদেখা পজিশনে এক্সট্রাপোলেট করার পরিবর্তে, এটি প্রশিক্ষিতদের মধ্যে ইন্টারপোলেট করে, শুধুমাত্র সংক্ষিপ্ত ফাইন-টিউনিং প্রয়োজন।
পজিশনাল ইন্টারপোলেশনের পিছনে মূল ধারণা কী?
PI অবস্থানের সূচকগুলিকে একটি স্কেল ফ্যাক্টর দ্বারা বিভক্ত করে যাতে দীর্ঘ ক্রমগুলি প্রশিক্ষিত অবস্থানের পরিসরে ফিরে আসে, ঘূর্ণনগুলিকে বন্টনে রেখে।
কেন দীর্ঘ অবস্থানে নিষ্পাপ এক্সট্রাপোলেশন ব্যর্থ হয়?
PI কাগজ দেখায় যে অদেখা বড় অবস্থানগুলি প্রশিক্ষণের চেয়ে বড় মনোযোগের স্কোর অর্ডার তৈরি করতে পারে, সফটম্যাক্সকে অস্থিতিশীল করে।
মোটামুটিভাবে LLaMA কে 32K পর্যন্ত প্রসারিত করার জন্য আসল PI কাজের কতটা সূক্ষ্ম-টিউনিং প্রয়োজন?
কাগজটি জানিয়েছে যে প্রায় 1,000টি ফাইন-টিউনিং পদক্ষেপ 32K টোকেন পর্যন্ত প্রসঙ্গ প্রসারিত করার জন্য যথেষ্ট।
আপনি যদি একটি ফ্যাক্টর s দ্বারা প্রসঙ্গ প্রসারিত করেন, তাহলে PI কীভাবে একটি অবস্থান m রূপান্তরিত করে?
PI নতুন বৃহত্তর পরিসরটিকে মূল প্রশিক্ষিত পরিসরে সংকুচিত করে, m থেকে m/s অবস্থানে পুনরায় স্কেল করে।
পিআই কীভাবে ইয়াআরএন-এর মতো পরবর্তী পদ্ধতিগুলিকে প্রভাবিত করেছিল?
PI নিরাপদ পন্থা হিসাবে ইন্টারপোলেশন প্রতিষ্ঠা করেছে; NTK-সচেতন স্কেলিং এবং YaRN ফ্রিকোয়েন্সিগুলিকে আরও বেছে বেছে ইন্টারপোলেট করে এটিকে পরিমার্জিত করেছে।