পরবর্তী আপপরবর্তী গাইড
প্রসঙ্গ এক্সটেনশনের জন্য অবস্থান ইন্টারপোলেশন
ভাষা এআই
প্রযুক্তিগত গাইড
পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
অদেখা পজিশনে এক্সট্রাপোলেট করার পরিবর্তে, এটি প্রশিক্ষিতদের মধ্যে ইন্টারপোলেট করে, শুধুমাত্র সংক্ষিপ্ত ফাইন-টিউনিং প্রয়োজন।
2023 সালে Meta গবেষকরা (চেন এট আল.) দ্বারা প্রবর্তিত, পজিশনাল ইন্টারপোলেশন এই সত্যটি মোকাবেলা করে যে RoPE সহ মডেলগুলি প্রশিক্ষণের বাইরে অবস্থানে এক্সট্রাপোলেট করার সময় বিপর্যয়মূলকভাবে ব্যর্থ হয়। অন্তর্দৃষ্টিটি বিপরীতমুখী: মডেলটিকে বৃহত্তর অবস্থানের মানগুলি পরিচালনা করতে বলার পরিবর্তে যা এটি কখনও দেখেনি, PI একটি স্কেল ফ্যাক্টর দ্বারা আগত অবস্থানের সূচকগুলিকে ভাগ করে যাতে 8K মানচিত্র মূল 2K পরিসরে ফিরে আসে৷ যেহেতু মডেলটিকে সেই পরিসরে প্রশিক্ষিত করা হয়েছিল, তাই ঘূর্ণনগুলি বিতরণে থাকে৷ মাত্র 1,000টি ফাইন-টিউনিং ধাপের পর, একটি LLaMA মডেল এইভাবে 32K প্রসঙ্গ পর্যন্ত পরিচালনা করে। গবেষণাপত্রটি দেখিয়েছে যে এক্সট্রাপোলেশন মনোযোগের স্কোরগুলিকে বিশাল মানগুলিতে উড়িয়ে দিতে পারে, যখন ইন্টারপোলেশন তাদের আবদ্ধ এবং স্থিতিশীল রাখে, এই কারণেই এক্সট্রাপোলেশনের চেয়ে ইন্টারপোলেশন নাটকীয়ভাবে ভাল কাজ করে।
প্রায় 1,000 ফাইন-টিউনিং ধাপ সহ 8K-32K টোকেন পরিচালনা করতে একটি 2K-প্রসঙ্গ LLaMA মডেল প্রসারিত করা
স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ ছাড়াই দীর্ঘ-নথির সারাংশের জন্য একটি বিদ্যমান চ্যাট মডেলকে মানিয়ে নেওয়া
এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন উন্নত করে এমন ধারণাগত বেসলাইন হিসাবে পরিবেশন করা
সংক্ষিপ্ত উইন্ডোগুলির সাথে প্রাথমিকভাবে প্রশিক্ষিত মডেলগুলিতে দীর্ঘ-প্রসঙ্গ কোড বা আইনি-নথি বিশ্লেষণ সক্ষম করা
পজিশনাল ইন্টারপোলেশন এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন সহ ফলো-আপের তরঙ্গের ভিত্তি হয়ে উঠেছে, যা স্থানীয় বিশদ সংরক্ষণের জন্য আরও বেছে বেছে ইন্টারপোলেশন করে। ট্র্যাজেক্টোরিটি এমন পদ্ধতিগুলির দিকে যা সামান্য বা কোন সূক্ষ্ম-সুরকরণের প্রয়োজন নেই এবং বেকিং দীর্ঘ-প্রসঙ্গ হ্যান্ডলিংকে প্রাক-প্রশিক্ষণের দিকে। PI একটি মূল্যবান বেসলাইন হিসাবে রয়ে গেছে এবং প্রায়শই 128K-প্লাস কনটেক্সট উইন্ডোতে দক্ষতার সাথে পৌঁছানোর জন্য নতুন ফ্রিকোয়েন্সি-সচেতন স্কিমগুলির সাথে মিলিত হয়।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে। অদেখা পজিশনে এক্সট্রাপোলেট করার পরিবর্তে, এটি প্রশিক্ষিতদের মধ্যে ইন্টারপোলেট করে, শুধুমাত্র সংক্ষিপ্ত ফাইন-টিউনিং প্রয়োজন।
PI অবস্থানের সূচকগুলিকে একটি স্কেল ফ্যাক্টর দ্বারা বিভক্ত করে যাতে দীর্ঘ ক্রমগুলি প্রশিক্ষিত অবস্থানের পরিসরে ফিরে আসে, ঘূর্ণনগুলিকে বন্টনে রেখে।
PI কাগজ দেখায় যে অদেখা বড় অবস্থানগুলি প্রশিক্ষণের চেয়ে বড় মনোযোগের স্কোর অর্ডার তৈরি করতে পারে, সফটম্যাক্সকে অস্থিতিশীল করে।
কাগজটি জানিয়েছে যে প্রায় 1,000টি ফাইন-টিউনিং পদক্ষেপ 32K টোকেন পর্যন্ত প্রসঙ্গ প্রসারিত করার জন্য যথেষ্ট।
PI নতুন বৃহত্তর পরিসরটিকে মূল প্রশিক্ষিত পরিসরে সংকুচিত করে, m থেকে m/s অবস্থানে পুনরায় স্কেল করে।
PI নিরাপদ পন্থা হিসাবে ইন্টারপোলেশন প্রতিষ্ঠা করেছে; NTK-সচেতন স্কেলিং এবং YaRN ফ্রিকোয়েন্সিগুলিকে আরও বেছে বেছে ইন্টারপোলেট করে এটিকে পরিমার্জিত করেছে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
প্রসঙ্গ এক্সটেনশনের জন্য অবস্থান ইন্টারপোলেশন
ভাষা এআই