পরবর্তী আপপরবর্তী গাইড
পছন্দ অপ্টিমাইজেশানে দৈর্ঘ্য স্বাভাবিককরণ
মৌলিক
মৌলিক নির্দেশিকা
পুনরাবৃত্তিমূলক DPO বারবার নতুন প্রতিক্রিয়া তৈরি করে, তাদের র্যাঙ্কিং করে এবং প্রতি রাউন্ডে সেই নতুন জোড়ার উপর টিউন করে মানুষের বা AI পছন্দগুলির সাথে একটি ভাষা মডেলকে সারিবদ্ধ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এটি গুরুত্বপূর্ণ কারণ স্থির, এক-শট পছন্দের ডেটা বাসি হয়ে যায়, যখন পুনরাবৃত্তি করা প্রশিক্ষণের সংকেতকে নীতিতে এবং মডেলকে উন্নত করে।
Direct Preference Optimization (DPO) skips training a separate reward model: given preferred and rejected responses, it adjusts the policy with a classification-style loss derived from the RLHF objective. Vanilla DPO trains on a fixed dataset, which may become off-policy as the model changes. Iterative DPO closes the loop: the current policy samples responses, human raters or an AI judge compare them, and the next DPO update trains on these fresh pairs. Repeating rounds incurs additional sampling and labeling costs. If the model judges its own outputs, its judgments can also inherit its biases, so independent checks and held-out evaluation remain useful.
একাধিক রাউন্ডে একটি চ্যাট সহকারীকে সারিবদ্ধ করা, প্রতিবার নতুন উত্তরের নমুনা নেওয়া এবং সহায়কতাকে তীক্ষ্ণ করার জন্য তাদের পুনরায় র্যাঙ্ক করা
স্ব-পুরস্কারমূলক সেটআপ যেখানে মডেলটি আরও ভাল পছন্দের ডেটা বুটস্ট্র্যাপ করার জন্য তার নিজস্ব প্রতিক্রিয়া জোড়া তৈরি করে এবং বিচার করে
কাঁচা গুণমান প্রতিষ্ঠিত হয়ে গেলে পরবর্তী পুনরাবৃত্তিতে দৈর্ঘ্য-নিয়ন্ত্রিত ডিপিও যোগ করে উত্তরের শব্দচয়িতা হ্রাস করা
ডোমেন অভিযোজন, যেমন পরীক্ষার ফলাফল দ্বারা বিচার করা সদ্য জেনারেট করা সমাধান জোড়ায় একটি কোডিং মডেলকে পুনরাবৃত্তিমূলকভাবে টিউন করা
Preference tuning can become more continuous and automated, but each round depends on the judge’s reliability, data coverage, and evaluation that is not reused as training signal. Self-rewarding systems need checks for self-confirming errors, and online cycles need cost and quality measurement at every iteration.
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
পুনরাবৃত্তিমূলক DPO বারবার নতুন প্রতিক্রিয়া তৈরি করে, তাদের র্যাঙ্কিং করে এবং প্রতি রাউন্ডে সেই নতুন জোড়ার উপর টিউন করে মানুষের বা AI পছন্দগুলির সাথে একটি ভাষা মডেলকে সারিবদ্ধ করে। এটি গুরুত্বপূর্ণ কারণ স্থির, এক-শট পছন্দের ডেটা বাসি হয়ে যায়, যখন পুনরাবৃত্তি করা প্রশিক্ষণের সংকেত অন-পলিসি এবং মডেলকে উন্নত করে।
PPO-ভিত্তিক RLHF ব্যবহার করে আলাদা পুরস্কার মডেল এবং RL লুপ বাদ দিয়ে DPO সরাসরি পছন্দের জোড়া থেকে নীতিটিকে অপ্টিমাইজ করে।
প্রতিটি রাউন্ডের প্রতিক্রিয়াগুলিকে পুনঃউত্পাদন এবং পুনরায় লেবেল করা ডেটাকে বর্তমান নীতির সাথে সারিবদ্ধ রাখে, বন্টন স্থানান্তর হ্রাস করে এবং বাসি তুলনার সাথে অতিরিক্ত ফিটিং করে।
ডিপিও নীতি এবং রেফারেন্স লগ-সম্ভাবনা তুলনা করে; অনুপাত একটি অন্তর্নিহিত পুরষ্কার হিসাবে কাজ করে এবং নীতিটি কতদূর প্রবাহিত হয় তা সীমাবদ্ধ করে।
প্রতিটি লুপ বর্তমান মডেল থেকে নতুন সমাপ্তি তৈরি করে, তাদের বিচারক র্যাঙ্ক করে এবং নতুন জোড়ার উপর একটি DPO আপডেট প্রয়োগ করে।
বিটা অন্তর্নিহিত পুরষ্কারের তাপমাত্রার মতো কাজ করে, পছন্দগুলি ফিট করার বিপরীতে রেফারেন্সের কাছাকাছি থাকার ব্যবসা বন্ধ করে৷
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
পছন্দ অপ্টিমাইজেশানে দৈর্ঘ্য স্বাভাবিককরণ
মৌলিক