পরবর্তী আপপরবর্তী গাইড
অডস রেশিও প্রেফারেন্স অপ্টিমাইজেশান
ভাষা এআই
মৌলিক নির্দেশিকা
পছন্দ অপ্টিমাইজেশানে দৈর্ঘ্য স্বাভাবিককরণ
দৈর্ঘ্য স্বাভাবিককরণ পছন্দ-টিউনিং উদ্দেশ্যগুলিকে সামঞ্জস্য করে যাতে মডেলগুলি কেবল দীর্ঘ উত্তর লিখে অনুমোদন পাওয়া বন্ধ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি গুরুত্বপূর্ণ কারণ অসংশোধন করা পুরষ্কার সংকেতগুলি চ্যাটবটগুলিকে সত্যিকারের আরও ভাল প্রতিক্রিয়ার পরিবর্তে শব্দ, প্যাডেড প্রতিক্রিয়াগুলির দিকে ঠেলে দেয়।
গভীর ডুব
When models are aligned with comparisons, human or reward-model labelers may prefer longer answers even when the extra text is not better. In standard DPO, the implicit reward sums per-token log-probability differences, so it can grow with response length. SimPO uses average per-token log probability, removes the need for a separate reference model, and adds a target reward margin between preferred and rejected responses. The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these results are tied to its tested models and training setups. Length-normalized objectives can reduce verbosity bias, but aggressive normalization can also encourage under-informative answers. Evaluation should assess completeness and correctness alongside length-controlled preference results.
বাস্তব-বিশ্ব বাস্তবায়ন
SimPO এর সাথে একজন গ্রাহক-সমর্থন সহকারীকে টিউন করা যাতে এটি প্যাডেড অনুচ্ছেদের পরিবর্তে খাস্তা, সঠিক উত্তর দেয় যা কেবল পুঙ্খানুপুঙ্খভাবে দেখায়।
AlpacaEval 2-এ 'দৈর্ঘ্য-নিয়ন্ত্রিত জয়ের হার' রিপোর্ট করা একটি মডেল দেখানোর জন্য যা সত্যিকারের উন্নত হয়েছে তার চেয়ে বরং আরও উন্নত।
একটি কোডিং মডেল ফাইন-টিউন করার সময় DPO-তে দৈর্ঘ্য স্বাভাবিককরণ যোগ করা যাতে এটি ন্যূনতম সঠিক স্নিপেট প্রদান করে, ফোলা বয়লারপ্লেট নয়।
একটি পুরষ্কার মডেল নির্ণয় করা যা পদ্ধতিগতভাবে দীর্ঘ প্রবন্ধগুলিকে উচ্চতর করে, তারপর এটিকে ব্যবহার করার আগে একটি রাইটিং সহকারীকে সারিবদ্ধ করতে এটিকে ডিবিয়াস করে৷
অগ্রাধিকার অপ্টিমাইজেশানে দৈর্ঘ্য স্বাভাবিককরণের ভবিষ্যত
দৈর্ঘ্য নিয়ন্ত্রণ একটি আদর্শ গাঁটের পরিবর্তে একটি আফটারথট হয়ে উঠতে আশা করুন। গবেষকরা দৈর্ঘ্যের স্বাভাবিককরণকে সুস্পষ্ট দৈর্ঘ্যের জরিমানা, দৈর্ঘ্য-কন্ডিশনযুক্ত পুরস্কার, এবং মূল্যায়ন স্যুটগুলির সাথে একত্রিত করছেন যা সঠিক মানের লাভ পরিমাপ করতে উত্তরের দৈর্ঘ্য ধ্রুবক ধরে রাখে। যেহেতু পুরষ্কার মডেলগুলি ভার্বোসিটি পক্ষপাতিত্ব চিহ্নিত করার ক্ষেত্রে আরও ভাল হয়, সারিবদ্ধ পাইপলাইনগুলি সম্ভবত ডিফল্টরূপে দৈর্ঘ্য-অবশ্যক জয়ের হার রিপোর্ট করবে এবং ব্যবহারকারীরা একটি মডেলের উত্তরগুলি কতটা সংক্ষিপ্ত বা বিশদ হওয়া উচিত তার উপর আরও সূক্ষ্ম নিয়ন্ত্রণ অর্জন করবে৷
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- সুস্পষ্ট সিদ্ধান্ত. এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
- খরচ ও বাজেট. অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
- টিম এবং ওয়ার্কফ্লো. ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
জন্য সতর্ক
- বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
- বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
- ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
পরবর্তী পদক্ষেপ
- আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
- পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
- একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
- নথি যেখানে পছন্দ অপ্টিমাইজেশানে দৈর্ঘ্য স্বাভাবিককরণ সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Length Normalization in Preference Optimization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
পছন্দসই অপ্টিমাইজেশনে দৈর্ঘ্য নরমালাইজেশন কী?
দৈর্ঘ্য স্বাভাবিককরণ পছন্দ-টিউনিং উদ্দেশ্যগুলিকে সামঞ্জস্য করে যাতে মডেলগুলি কেবল দীর্ঘ উত্তর লিখে অনুমোদন পাওয়া বন্ধ করে। এটি গুরুত্বপূর্ণ কারণ অসংশোধিত পুরষ্কার সংকেত চ্যাটবটগুলিকে সত্যিকারের ভালগুলির পরিবর্তে ভার্বোস, প্যাডেড প্রতিক্রিয়াগুলির দিকে ঠেলে দেয়৷
DPO-তে দৈর্ঘ্যের স্বাভাবিকীকরণ প্রাথমিকভাবে প্রতিরোধ করার লক্ষ্যে কোন অবাঞ্ছিত আচরণ করে?
DPO-এর অন্তর্নিহিত পুরষ্কার টোকেন গণনার সাথে বৃদ্ধি পায়, তাই স্বাভাবিকীকরণ ছাড়া মডেলগুলি শিখেছে যে কেবলমাত্র বেশি শব্দযুক্ত হওয়া পছন্দের তুলনা জয়ের প্রবণতা রাখে।
কেন স্ট্যান্ডার্ড ডিপিও-এর অন্তর্নিহিত পুরস্কার প্রতিক্রিয়ার দৈর্ঘ্যের সাথে বাড়তে থাকে?
অন্তর্নিহিত পুরষ্কার প্রতিটি টোকেন জুড়ে লগ-সম্ভাব্যতার অনুপাত যোগ করে, তাই আরও টোকেন সাধারণত একটি বৃহত্তর মোট পুরস্কারকে বোঝায়।
কিভাবে SimPO দৈর্ঘ্যের পক্ষপাতের সমাধান করে?
SimPO তাদের গড় (দৈর্ঘ্য-স্বাভাবিক) লগ-সম্ভাব্যতা দ্বারা প্রতিক্রিয়া স্কোর করে এবং যান্ত্রিক দৈর্ঘ্যের সুবিধা সরিয়ে একটি লক্ষ্য পুরস্কার মার্জিন যোগ করে।
কোন মূল্যায়ন অনুশীলন শুধুমাত্র দৈর্ঘ্যের পরিবর্তে গুণমান উন্নত একটি মডেল নিশ্চিত করতে সাহায্য করে?
দৈর্ঘ্য-নিয়ন্ত্রিত জয়ের হার (AlpacaEval 2 এর মতো) উত্তরের দৈর্ঘ্যের জন্য সামঞ্জস্য করে যাতে লাভ গুণমানকে প্রতিফলিত করে, শব্দচয়ন নয়।
Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these benchmark results apply to the tested models and setups.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড