প্রযুক্তিগত গাইড

দীর্ঘ প্রসঙ্গের জন্য অবস্থানগত ইন্টারপোলেশন

পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min

এই পৃষ্ঠায়2 মিনিট পঠিত
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. দীর্ঘ প্রসঙ্গের জন্য অবস্থানগত ইন্টারপোলেশনের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

অদেখা পজিশনে এক্সট্রাপোলেট করার পরিবর্তে, এটি প্রশিক্ষিতদের মধ্যে ইন্টারপোলেট করে, শুধুমাত্র সংক্ষিপ্ত ফাইন-টিউনিং প্রয়োজন।

গভীর ডুব

2023 সালে Meta গবেষকরা (চেন এট আল.) দ্বারা প্রবর্তিত, পজিশনাল ইন্টারপোলেশন এই সত্যটি মোকাবেলা করে যে RoPE সহ মডেলগুলি প্রশিক্ষণের বাইরে অবস্থানে এক্সট্রাপোলেট করার সময় বিপর্যয়মূলকভাবে ব্যর্থ হয়। অন্তর্দৃষ্টিটি বিপরীতমুখী: মডেলটিকে বৃহত্তর অবস্থানের মানগুলি পরিচালনা করতে বলার পরিবর্তে যা এটি কখনও দেখেনি, PI একটি স্কেল ফ্যাক্টর দ্বারা আগত অবস্থানের সূচকগুলিকে ভাগ করে যাতে 8K মানচিত্র মূল 2K পরিসরে ফিরে আসে৷ যেহেতু মডেলটিকে সেই পরিসরে প্রশিক্ষিত করা হয়েছিল, তাই ঘূর্ণনগুলি বিতরণে থাকে৷ মাত্র 1,000টি ফাইন-টিউনিং ধাপের পর, একটি LLaMA মডেল এইভাবে 32K প্রসঙ্গ পর্যন্ত পরিচালনা করে। গবেষণাপত্রটি দেখিয়েছে যে এক্সট্রাপোলেশন মনোযোগের স্কোরগুলিকে বিশাল মানগুলিতে উড়িয়ে দিতে পারে, যখন ইন্টারপোলেশন তাদের আবদ্ধ এবং স্থিতিশীল রাখে, এই কারণেই এক্সট্রাপোলেশনের চেয়ে ইন্টারপোলেশন নাটকীয়ভাবে ভাল কাজ করে।

বাস্তব-বিশ্ব বাস্তবায়ন

প্রায় 1,000 ফাইন-টিউনিং ধাপ সহ 8K-32K টোকেন পরিচালনা করতে একটি 2K-প্রসঙ্গ LLaMA মডেল প্রসারিত করা

স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ ছাড়াই দীর্ঘ-নথির সারাংশের জন্য একটি বিদ্যমান চ্যাট মডেলকে মানিয়ে নেওয়া

এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন উন্নত করে এমন ধারণাগত বেসলাইন হিসাবে পরিবেশন করা

সংক্ষিপ্ত উইন্ডোগুলির সাথে প্রাথমিকভাবে প্রশিক্ষিত মডেলগুলিতে দীর্ঘ-প্রসঙ্গ কোড বা আইনি-নথি বিশ্লেষণ সক্ষম করা

দীর্ঘ প্রসঙ্গের জন্য অবস্থানগত ইন্টারপোলেশনের ভবিষ্যত

পজিশনাল ইন্টারপোলেশন এনটিকে-সচেতন স্কেলিং এবং ইয়াআরএন সহ ফলো-আপের তরঙ্গের ভিত্তি হয়ে উঠেছে, যা স্থানীয় বিশদ সংরক্ষণের জন্য আরও বেছে বেছে ইন্টারপোলেশন করে। ট্র্যাজেক্টোরিটি এমন পদ্ধতিগুলির দিকে যা সামান্য বা কোন সূক্ষ্ম-সুরকরণের প্রয়োজন নেই এবং বেকিং দীর্ঘ-প্রসঙ্গ হ্যান্ডলিংকে প্রাক-প্রশিক্ষণের দিকে। PI একটি মূল্যবান বেসলাইন হিসাবে রয়ে গেছে এবং প্রায়শই 128K-প্লাস কনটেক্সট উইন্ডোতে দক্ষতার সাথে পৌঁছানোর জন্য নতুন ফ্রিকোয়েন্সি-সচেতন স্কিমগুলির সাথে মিলিত হয়।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Positional Interpolation for Long Context quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

দীর্ঘ প্রসঙ্গের জন্য পজিশনাল ইন্টারপোলেশন কি?

পজিশনাল ইন্টারপোলেশন (PI) হল একটি সহজ, প্রভাবশালী কৌশল যা মডেলটি ইতিমধ্যেই জানে এমন পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে একটি ট্রান্সফরমারের প্রসঙ্গ উইন্ডোকে প্রসারিত করে। অদেখা পজিশনে এক্সট্রাপোলেট করার পরিবর্তে, এটি প্রশিক্ষিতদের মধ্যে ইন্টারপোলেট করে, শুধুমাত্র সংক্ষিপ্ত ফাইন-টিউনিং প্রয়োজন।

পজিশনাল ইন্টারপোলেশনের পিছনে মূল ধারণা কী?

PI অবস্থানের সূচকগুলিকে একটি স্কেল ফ্যাক্টর দ্বারা বিভক্ত করে যাতে দীর্ঘ ক্রমগুলি প্রশিক্ষিত অবস্থানের পরিসরে ফিরে আসে, ঘূর্ণনগুলিকে বন্টনে রেখে।

কেন দীর্ঘ অবস্থানে নিষ্পাপ এক্সট্রাপোলেশন ব্যর্থ হয়?

PI কাগজ দেখায় যে অদেখা বড় অবস্থানগুলি প্রশিক্ষণের চেয়ে বড় মনোযোগের স্কোর অর্ডার তৈরি করতে পারে, সফটম্যাক্সকে অস্থিতিশীল করে।

মোটামুটিভাবে LLaMA কে 32K পর্যন্ত প্রসারিত করার জন্য আসল PI কাজের কতটা সূক্ষ্ম-টিউনিং প্রয়োজন?

কাগজটি জানিয়েছে যে প্রায় 1,000টি ফাইন-টিউনিং পদক্ষেপ 32K টোকেন পর্যন্ত প্রসঙ্গ প্রসারিত করার জন্য যথেষ্ট।

আপনি যদি একটি ফ্যাক্টর s দ্বারা প্রসঙ্গ প্রসারিত করেন, তাহলে PI কীভাবে একটি অবস্থান m রূপান্তরিত করে?

PI নতুন বৃহত্তর পরিসরটিকে মূল প্রশিক্ষিত পরিসরে সংকুচিত করে, m থেকে m/s অবস্থানে পুনরায় স্কেল করে।

পিআই কীভাবে ইয়াআরএন-এর মতো পরবর্তী পদ্ধতিগুলিকে প্রভাবিত করেছিল?

PI নিরাপদ পন্থা হিসাবে ইন্টারপোলেশন প্রতিষ্ঠা করেছে; NTK-সচেতন স্কেলিং এবং YaRN ফ্রিকোয়েন্সিগুলিকে আরও বেছে বেছে ইন্টারপোলেট করে এটিকে পরিমার্জিত করেছে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →