ভাষা এআই গাইড
প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
গভীর ডুব
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
বাস্তব-বিশ্ব বাস্তবায়ন
প্রতি প্রম্পটে একাধিক উত্তরের নমুনা নিয়ে লামা-স্টাইলের মডেলগুলিকে সারিবদ্ধ করা, সর্বোচ্চ পুরস্কার-মডেল স্কোর রেখে, তারপর সেগুলির উপর SFT
অনেকগুলি সমাধান তৈরি করে এবং সঠিক, পরীক্ষাযোগ্য উত্তরে পৌঁছানো শুধুমাত্র সেইগুলিকে ধরে রাখার মাধ্যমে একটি গণিত সমাধানকারীকে উন্নত করা
কোড জেনারেশন যেখানে প্রার্থীদের রাখা হয় শুধুমাত্র যদি তারা ইউনিট পরীক্ষায় উত্তীর্ণ হয়, তারপর প্রশিক্ষণের ডেটা হিসাবে ব্যবহার করা হয়
পরবর্তী প্রশিক্ষণ রাউন্ডের জন্য একটি মডেলের নিজস্ব সেরা স্ব-উত্পাদিত প্রতিক্রিয়া ফিল্টার করে সিন্থেটিক নির্দেশনা ডেটাসেট তৈরি করা
প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং এর ভবিষ্যত
RFT আধুনিক পোস্ট-প্রশিক্ষণের কেন্দ্রবিন্দু, প্রায়শই পিপিও এবং ডিপিওর মতো RL পদ্ধতির আগে বা পাশে ব্যবহৃত হয়। সস্তা অনুমান এবং শক্তিশালী স্বয়ংক্রিয় যাচাইকারীর সাথে এর আবেদন বৃদ্ধি পায়: মডেলগুলি স্ব-উত্পাদন এবং স্ব-পরীক্ষায় আরও ভাল হয়, পুনরাবৃত্তিমূলক প্রত্যাখ্যান স্যাম্পলিং সিন্থেটিক-ডেটা এবং স্ব-উন্নতি লুপগুলিকে সমর্থন করে। যুক্তিযুক্ত মডেলগুলির সাথে কঠোর একীকরণের প্রত্যাশা করুন যা চিন্তার যাচাইযোগ্য চেইন তৈরি করে এবং একটি মডেলের নিজস্ব আউটপুটগুলিতে বারবার প্রশিক্ষণের সময় কীভাবে পুরষ্কার হ্যাকিং এবং বৈচিত্র্যের পতন এড়ানো যায় সে সম্পর্কে চলমান অধ্যয়ন।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
- অ্যাক্সেস এবং পৌঁছানো. এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
- সুস্পষ্ট সিদ্ধান্ত. অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
জন্য সতর্ক
- হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
- প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
- অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
পরবর্তী পদক্ষেপ
- রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
- যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
- উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
- ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Rejection Sampling Fine-Tuning quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং কি?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
কোন লুপ সর্বোত্তম বর্ণনা করে কিভাবে প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং একটি মডেলকে উন্নত করে?
RFT একাধিক প্রতিক্রিয়ার নমুনা দেয়, সর্বোচ্চ স্কোরিংয়ে ফিল্টার করে, এবং সেই বিজয়ীদের মডেলকে সূক্ষ্ম সুর করে।
গণিত বা কোডের মতো যাচাইযোগ্য ডোমেনে, কী পুরস্কার হিসেবে কাজ করতে পারে?
চেকযোগ্য কাজের জন্য, RFT সঠিক শুদ্ধতা ব্যবহার করতে পারে বা ইউনিট পরীক্ষায় উত্তীর্ণ হতে পারে, একটি শেখা পুরস্কার মডেল এড়িয়ে যেতে পারে।
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
সর্বাধিক-পুরস্কারের নমুনার প্রশিক্ষণ কার্যকরভাবে কী করে?
শীর্ষ ফিল্টার করা প্রতিক্রিয়াগুলি থেকে শেখার মাধ্যমে, মডেলটি একক প্রজন্মের মধ্যে উচ্চ-মানের আচরণকে অভ্যন্তরীণ করে তোলে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড