পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
রিইনফোর্সমেন্ট ফাইন-টিউনিং (RFT) একটি মডেলকে প্রশিক্ষণ দেয় এটি উত্তর তৈরি করে, একটি গ্রেডারের সাথে সেই উত্তরগুলি স্কোর করে এবং মডেলটিকে আপডেট করে যাতে উচ্চ-স্কোরিং উত্তরগুলিকে উদাহরণ আউটপুটগুলি অনুলিপি করতে শেখানোর পরিবর্তে আরও সম্ভাবনা থাকে৷
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ এটি এমন কাজের বিষয়ে যুক্তি উন্নত করতে পারে যেখানে একটি সঠিক উত্তর পরীক্ষা করা সহজ কিন্তু ধাপে ধাপে প্রদর্শন করা কঠিন। এর প্রধান ঝুঁকি হল পুরষ্কার হ্যাকিং, যেখানে মডেল কাজটি সমাধান করার পরিবর্তে গ্রেডারকে খুশি করতে শেখে।
স্ট্যান্ডার্ড তত্ত্বাবধানে থাকা ফাইন-টিউনিং মডেলটিকে একটি ইনপুট এবং আপনি যে সঠিক আউটপুট চান তা দেখায় এবং এটিকে অনুকরণ করতে প্রশিক্ষণ দেয়। এটি কাজ করে যখন আপনি ভাল টার্গেট আউটপুট লিখতে পারেন, কিন্তু এটি তাদের পৌঁছানোর প্রক্রিয়ার পরিবর্তে উত্তরগুলির পৃষ্ঠের ফর্ম শেখায়। রিইনফোর্সমেন্ট ফাইন-টিউনিং ভিন্নভাবে কাজ করে। প্রতিটি প্রশিক্ষণ প্রম্পটের জন্য, মডেলটি এক বা একাধিক প্রার্থীর উত্তরের নমুনা দেয়। একজন গ্রেডার প্রত্যেককে একটি স্কোর বরাদ্দ করে, প্রায়শই 0 এবং 1 এর মধ্যে। প্রশিক্ষণের অ্যালগরিদম তারপরে মডেলটিকে সামঞ্জস্য করে যাতে গড়ের উপরে স্কোর করার সম্ভাবনা বেশি হয় এবং গড় থেকে কম উত্তরগুলির সম্ভাবনা কম হয়। অনেক রাউন্ডে, মডেলটি যুক্তির নিদর্শন রাখে যা পুরস্কার অর্জন করে। গ্রেডার্স কয়েক ধরনের আসে। সঠিক বা স্ট্রিং-ম্যাচ গ্রেডাররা পরীক্ষা করে দেখুন যে চূড়ান্ত উত্তর একটি রেফারেন্সের সমান কিনা। প্রোগ্রাম্যাটিক গ্রেডাররা কোড চালায়, যেমন ইউনিট পরীক্ষা বা একটি সংখ্যাগত সহনশীলতা পরীক্ষা। মডেল-ভিত্তিক গ্রেডাররা যান্ত্রিকভাবে পরীক্ষা করা কঠিন এমন গুণাবলী বিচার করতে রুব্রিক সহ অন্য ভাষার মডেল ব্যবহার করে। গ্রেডাররাও আংশিক ক্রেডিট দিতে পারে, যা মডেলটিকে একটি মসৃণ সংকেত দেয়। RFT যাচাইযোগ্য বা নির্ভরযোগ্যভাবে গ্রেডযোগ্য উত্তরগুলির সাথে কাজগুলিকে উপযুক্ত করে যেখানে বিশেষজ্ঞরা কোনটি সঠিক তা নিয়ে সম্মত হন: সংজ্ঞায়িত লেবেল, গণিত, কোড, কাঠামোগত নিষ্কাশন এবং কিছু বিশেষ বিচার কাজ সহ শ্রেণীবিভাগ। এটি একটি দুর্বল ফিট যেখানে গুণমান বিষয়ভিত্তিক এবং গ্রেডাররা একমত নয়। OpenAI ডিসেম্বর 2024-এ একটি শক্তিশালীকরণ ফাইন-টিউনিং পরিষেবার পূর্বরূপ দেখেছিল এবং যুক্তির মডেলগুলিকে আরও বিস্তৃতভাবে যাচাইযোগ্য পুরষ্কারগুলিতে শক্তিবৃদ্ধি শেখার সাথে প্রশিক্ষণ দেওয়া হয়েছে। কেন্দ্রীয় ব্যর্থতার মোড হল পুরস্কার হ্যাকিং। মডেলটি আপনার অভিপ্রায় নয়, গ্রেডারকে অপ্টিমাইজ করে। যদি একজন গ্রেডার শুধুমাত্র চূড়ান্ত লাইনটি পরীক্ষা করে, তাহলে মডেলটি ভাঙা যুক্তি সহ একটি সঠিক-সুদর্শন চূড়ান্ত লাইন তৈরি করতে পারে। যদি একজন মডেল গ্রেডার দৈর্ঘ্য বা আত্মবিশ্বাসী শব্দ পছন্দ করে, আউটপুট সেই বৈশিষ্ট্যগুলির দিকে প্রবাহিত হয়। একটি সাধারণ ভুল ধারণা হল যে উচ্চতর প্রশিক্ষণের পুরস্কার মানে একটি ভালো মডেল; এটি শুধুমাত্র সেই গ্রেডারের থেকে একটি ভাল স্কোর মানে।
একটি ট্যাক্স সফ্টওয়্যার টিম একটি মডেলকে প্রশিক্ষন দেয় ব্যয়ের আইটেমগুলিকে সঠিক ক্যাটাগরি কোডে শ্রেণীবদ্ধ করার জন্য, একটি গ্রেডারের সাথে যেটি লেবেলযুক্ত উত্তরের বিপরীতে পূর্বাভাসিত কোড পরীক্ষা করে।
একটি কোডিং সহকারী তৈরি করা একটি কোম্পানি ইউনিট পরীক্ষার বিরুদ্ধে সঞ্চালিত ফাংশনগুলিকে পুরস্কৃত করে, তাই পুরষ্কারটি কোডটি আসলে কাজ করে কিনা তা প্রতিফলিত করে।
একটি মেডিকেল রিসার্চ গ্রুপ একটি মডেলকে প্রশিক্ষন দেয় সম্ভাব্য জিনকে র্যাঙ্ক করার জন্য উপসর্গের একটি তালিকা দিয়ে, একটি গ্রেডারের সাথে যেটি আংশিক ক্রেডিট দেয় যখন সঠিক জিনটি র্যাঙ্কিংয়ের শীর্ষে উপস্থিত হয়।
একটি দল একটি মডেল-ভিত্তিক গ্রেডার ব্যবহার করে গ্রাহকের ইমেলের উত্তরগুলি নির্ভুলতা এবং টোনের জন্য স্কোর করে, তারপরে আবিস্কার করে যে নীতিটি চাটুকার বাক্যাংশ যোগ করতে শিখেছে গ্রেডার ওভার-পুরস্কার।
গ্রেডেবল টাস্কে রিইনফোর্সমেন্ট লার্নিং একটি গুরুত্বপূর্ণ অংশ হয়ে উঠেছে কিভাবে যুক্তির মডেলগুলিকে প্রশিক্ষিত করা হয়, এবং হোস্ট করা পরিষেবাগুলি ছোট দলগুলির জন্য RFT উপলব্ধ করে। অগ্রগতি সম্ভবত প্রশিক্ষণের অ্যালগরিদমের উপর কম এবং গ্রেডারের মানের উপর বেশি নির্ভর করে, যেহেতু একটি মডেল কেবলমাত্র ততটা ভাল হতে পারে যতটা সংকেতের বিপরীতে অপ্টিমাইজ করা হয়। আরও শক্তিশালী গ্রেডারের গবেষণা, একাধিক স্বাধীন গ্রেডার এবং পুরষ্কার হ্যাকিংয়ের আরও ভাল সনাক্তকরণ সক্রিয়। বেশিরভাগ সংস্থার জন্য, ব্যবহারিক প্রশ্ন থেকে যাবে যে তারা সঠিকতাকে গ্রেড করার জন্য যথেষ্ট পরিষ্কারভাবে সংজ্ঞায়িত করতে পারে কিনা।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
রিইনফোর্সমেন্ট ফাইন-টিউনিং (RFT) একটি মডেলকে প্রশিক্ষণ দেয় এটি উত্তর তৈরি করে, একটি গ্রেডারের সাথে সেই উত্তরগুলি স্কোর করে এবং মডেলটিকে আপডেট করে যাতে উচ্চ-স্কোরিং উত্তরগুলিকে উদাহরণ আউটপুটগুলি অনুলিপি করতে শেখানোর পরিবর্তে আরও সম্ভাবনা থাকে৷ এটি গুরুত্বপূর্ণ কারণ এটি এমন কাজের বিষয়ে যুক্তি উন্নত করতে পারে যেখানে একটি সঠিক উত্তর পরীক্ষা করা সহজ কিন্তু ধাপে ধাপে প্রদর্শন করা কঠিন। এর প্রধান ঝুঁকি হল পুরষ্কার হ্যাকিং, যেখানে মডেল কাজটি সমাধান করার পরিবর্তে গ্রেডারকে খুশি করতে শেখে।
তত্ত্বাবধানে ফাইন-টিউনিং লক্ষ্যবস্তু অনুকরণ করে; RFT নমুনা উত্তর দেয়, গ্রেডারের সাথে স্কোর করে এবং উচ্চ-স্কোরকারীকে শক্তিশালী করে।
প্রোগ্রাম্যাটিক গ্রেডাররা পরীক্ষার বিরুদ্ধে কোড চালাতে পারে, এটি কাজ করে কিনা তা সরাসরি পরিমাপ করতে পারে।
RFT একটি নির্ভরযোগ্য গ্রেড প্রয়োজন. যখন বিশেষজ্ঞরা কোনটি সঠিক তা নিয়ে দ্বিমত পোষণ করেন, তখন পুরস্কারের সংকেতটি শোরগোল।
পুরষ্কার হ্যাকিং ঘটে যখন অপ্টিমাইজেশান গ্রেডারের দুর্বলতাকে কাজে লাগায়, প্রকৃত গুণমান উন্নত না করেই স্কোর বাড়ায়।
GRPO সুবিধা হিসেবে একটি গ্রুপের মধ্যে আপেক্ষিক স্কোর ব্যবহার করে। যদি সব স্কোর মিলে যায়, সেখান থেকে শেখার কোনো পার্থক্য নেই।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল