ওভারভিউ
ইয়াআরএন (এখনও আরেকটি রোপিই এক্সটেনশন) হল এমন একটি কৌশল যা একটি ট্রান্সফরমারের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে ন্যূনতম ফাইন-টিউনিং সহ যে বিষয়ে প্রশিক্ষণ দেওয়া হয়েছিল তার থেকে অনেক বেশি প্রসারিত করে। এটি গুরুত্বপূর্ণ কারণ এটি বিদ্যমান মডেলগুলিকে স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ না দিয়ে অনেক দীর্ঘ নথি পরিচালনা করতে দেয়।
ইয়াআরএন কনটেক্সট উইন্ডো স্কেলিং হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য এবং বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়।
গভীর ডুব
বেশিরভাগ আধুনিক এলএলএমগুলি রোটারি পজিশন এমবেডিংস (RoPE) ব্যবহার করে শব্দের অবস্থানগুলিকে এনকোড করে, যা প্রশিক্ষণের সময় মডেলটি যে দৈর্ঘ্য দেখেছিল তা পর্যন্ত ভালভাবে কাজ করে। একটি দীর্ঘ ক্রম মধ্যে ফিড এবং মডেল খারাপভাবে অধঃপতন. YaRN একটি ফ্রিকোয়েন্সি-সচেতন উপায়ে RoPE-এর ঘূর্ণন ফ্রিকোয়েন্সিগুলিকে রিস্কেল করার মাধ্যমে এটি সমাধান করে: উচ্চ-ফ্রিকোয়েন্সি মাত্রাগুলি (যা স্থানীয়, কাছাকাছি সম্পর্কগুলিকে ক্যাপচার করে) বেশিরভাগই অস্পর্শিত থাকে, যখন কম-ফ্রিকোয়েন্সি মাত্রাগুলি (যা দীর্ঘ-সীমার অবস্থান ক্যাপচার করে) ইন্টারপোলেট করা হয়। দীর্ঘ পরিসরে লজিটগুলিকে ভালভাবে ব্যবহার করতে এটি মনোযোগের জন্য একটি তাপমাত্রা সামঞ্জস্য যোগ করে। LLaMA মডেলগুলিতে প্রদর্শিত ফলাফল, মূল প্রশিক্ষণ ডেটার মাত্র 0.1% এবং কয়েকশো সূক্ষ্ম-টিউনিং পদক্ষেপ ব্যবহার করে 4K থেকে 64K-128K টোকেন পর্যন্ত প্রসঙ্গ প্রসারিত করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
RoPE ক্যোয়ারী এবং কী ভেক্টরকে অবস্থানের সমানুপাতিক কোণ এবং প্রতি-মাত্রা ফ্রিকোয়েন্সি দ্বারা ঘোরায়। নিষ্পাপ রৈখিক ইন্টারপোলেশন (পজিশন ইন্টারপোলেশন) সমস্ত ফ্রিকোয়েন্সি সমানভাবে স্কোয়াশ করে, স্থানীয় বিস্তারিত ক্ষতি করে। ইয়াআরএন এর পরিবর্তে 'এনটিকে-বাই-পার্টস' প্রয়োগ করে: এটি শুধুমাত্র নিম্ন-ফ্রিকোয়েন্সি (দীর্ঘ-তরঙ্গদৈর্ঘ্য) মাত্রাগুলিকে প্রসারিত করে, উচ্চ-ফ্রিকোয়েন্সিগুলিকে একা ছেড়ে দেয় এবং তাদের মধ্যে র্যাম্প তৈরি করে। মনোযোগের তাপমাত্রার স্কেলিং এনট্রপি স্থানান্তরের জন্য ক্ষতিপূরণ দেয়, বর্ধিত দৈর্ঘ্যে নির্ভুলতা সংরক্ষণ করে।
ইয়াআরএন কনটেক্সট উইন্ডো স্কেলিং আয়ত্ত করা
ইয়াআরএন (এখনও আরেকটি রোপিই এক্সটেনশন) হল এমন একটি কৌশল যা একটি ট্রান্সফরমারের ব্যবহারযোগ্য প্রসঙ্গ উইন্ডোকে ন্যূনতম ফাইন-টিউনিং সহ যে বিষয়ে প্রশিক্ষণ দেওয়া হয়েছিল তার থেকে অনেক বেশি প্রসারিত করে। এটি গুরুত্বপূর্ণ কারণ এটি বিদ্যমান মডেলগুলিকে স্ক্র্যাচ থেকে পুনরায় প্রশিক্ষণ না দিয়ে অনেক দীর্ঘ নথি পরিচালনা করতে দেয়। ইয়াআরএন কনটেক্সট উইন্ডো স্কেলিং হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য এবং বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়। গভীর বোঝাপড়া তৈরি করতে, YaRN কনটেক্সট উইন্ডো স্কেলিংকে একটি অপারেটিং মডেল হিসাবে বিবেচনা করুন, একটি একক বৈশিষ্ট্য নয়: পছন্দসই ফলাফলগুলি সংজ্ঞায়িত করুন, অনুমানগুলি স্পষ্ট করুন এবং সিস্টেমটি নির্ভরযোগ্যভাবে কী করতে পারে তা এখনও বিশেষজ্ঞের বিচারের প্রয়োজন থেকে আলাদা করুন৷
অনুশীলনে, ইয়াআরএন কনটেক্সট উইন্ডো স্কেলিং ডিজাইন ব্যবহার করে শক্তিশালী দলগুলি একটি সমন্বিত যোগাযোগ ব্যবস্থা হিসাবে লুপগুলি পুনরুদ্ধার, পুনরুদ্ধার এবং পর্যালোচনা করে। তারা সুস্পষ্ট সাফল্যের মাপকাঠি নথিভুক্ত করে, বাস্তবসম্মত ডেটা এবং কর্মপ্রবাহের বিরুদ্ধে পরীক্ষা করে এবং এককালীন বেঞ্চমার্ক জয়ের পরিবর্তে পর্যবেক্ষিত ব্যর্থতার ধরণগুলির উপর ভিত্তি করে পুনরাবৃত্তি করে। এখানেই তাত্ত্বিক বোঝাপড়া পণ্য, নীতি এবং অপারেশন জুড়ে টেকসই সক্ষমতায় পরিণত হয়।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। একই সময়ে, হ্যালুসিনেটেড ফ্যাক্টগুলি নিঃশব্দে রিপোর্ট, সমর্থন প্রবাহ বা গবেষণা আউটপুট প্রবেশ করতে পারে। সবচেয়ে স্থিতিস্থাপক পদ্ধতি হল প্রশাসনিক শৃঙ্খলার সাথে পরীক্ষার গতিকে একত্রিত করা: পাইলট চালান, প্রমাণ ক্যাপচার করুন, সিদ্ধান্তের লগ প্রকাশ করুন এবং মডেল আচরণ, ব্যবহারকারীর প্রত্যাশা এবং নিয়ন্ত্রক প্রয়োজনীয়তাগুলি বিকশিত হওয়ার সাথে সাথে অবিচ্ছিন্ন সুরক্ষাগুলি আপডেট করুন।
কৌশলগত প্রভাব
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি খোলা LLaMA মডেলকে 4K থেকে 128K টোকেন পর্যন্ত প্রসারিত করা যাতে এটি একটি পাসে একটি সম্পূর্ণ কোডবেস বা দীর্ঘ চুক্তি গ্রহণ করতে পারে
একটি চ্যাটবটকে পূর্বের বাঁকগুলিকে ছাঁটাই না করে খুব দীর্ঘ কথোপকথনের ইতিহাস ধরে রাখতে দেওয়া৷
বই-দৈর্ঘ্যের নথি বা বহু-ঘণ্টার প্রতিলিপির সারসংক্ষেপ যা বেস মডেলের নেটিভ উইন্ডোকে অতিক্রম করে
শুধুমাত্র একটি ছোট ফাইন-টিউনিং রান ব্যবহার করে দীর্ঘ-প্রসঙ্গ পুনরুদ্ধার কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে সস্তায় অভিযোজিত করা
বাস্তবায়ন নিদর্শন
অনুশীলনে YaRN প্রসঙ্গ উইন্ডো স্কেলিং
একটি খোলা LLaMA মডেলকে 4K থেকে 128K টোকেন পর্যন্ত প্রসারিত করা যাতে এটি একটি পাসে একটি সম্পূর্ণ কোডবেস বা দীর্ঘ চুক্তি গ্রহণ করতে পারে।
একটি খোলা LLaMA মডেলকে 4K থেকে 128K টোকেন পর্যন্ত প্রসারিত করা যাতে এটি একটি পাসে একটি সম্পূর্ণ কোডবেস বা দীর্ঘ চুক্তি গ্রহণ করতে পারে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে YaRN প্রসঙ্গ উইন্ডো স্কেলিং
একটি চ্যাটবটকে পূর্বের বাঁকগুলিকে ছাঁটাই না করে খুব দীর্ঘ কথোপকথনের ইতিহাস ধরে রাখতে দেওয়া৷
একটি চ্যাটবটকে পূর্বের বাঁকগুলিকে ছাঁটাই না করে খুব দীর্ঘ কথোপকথনের ইতিহাস ধরে রাখতে দেওয়া দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে YaRN প্রসঙ্গ উইন্ডো স্কেলিং
বইয়ের দৈর্ঘ্যের নথি বা বহু-ঘণ্টার প্রতিলিপির সারসংক্ষেপ যা বেস মডেলের নেটিভ উইন্ডোর চেয়ে বেশি।
বই-দৈর্ঘ্যের নথি বা বহু-ঘণ্টার ট্রান্সক্রিপ্টের সারসংক্ষেপ যা বেস মডেলের নেটিভ উইন্ডোকে ছাড়িয়ে যায় দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে।
অনুশীলনে YaRN প্রসঙ্গ উইন্ডো স্কেলিং
শুধুমাত্র একটি ছোট ফাইন-টিউনিং রান ব্যবহার করে দীর্ঘ-প্রসঙ্গ পুনরুদ্ধার কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে সস্তায় অভিযোজিত করা।
শুধুমাত্র একটি ছোট ফাইন-টিউনিং রান ব্যবহার করে দীর্ঘ-প্রসঙ্গ পুনরুদ্ধার কাজের জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে সস্তায় অভিযোজিত করা দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।