СледваСледващо ръководство
QLoRA и 4-битова фина настройка
Езиков AI
Език AI РЪКОВОДСТВО
Фина настройка на извадката за отхвърляне
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Дълбоко гмуркане
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Внедряване в реалния свят
Подравняване на модели в стил Llama чрез вземане на проби от множество отговори на подкана, запазване на най-високите резултати на модела на награда, след това SFT върху тях
Подобряване на математически решаващ инструмент чрез генериране на много решения и запазване само на тези, които достигат до правилния отговор, който може да се провери
Генериране на код, при което кандидатите се съхраняват само ако преминат единични тестове, след което се използват като данни за обучение
Изграждане на набори от синтетични инструкции чрез филтриране на собствените най-добри самостоятелно генерирани отговори на модела за следващия кръг на обучение
Бъдещето на фината настройка на извадката за отказ
RFT е централна за модерното след обучение, често се използва преди или заедно с RL методи като PPO и DPO. Неговата привлекателност нараства с евтини изводи и силни автоматични верификатори: тъй като моделите стават по-добри при самогенериране и самопроверка, итеративното отхвърляне на проби поддържа синтетични данни и цикли за самоусъвършенстване. Очаквайте по-тясна интеграция с разсъждаващи модели, които произвеждат проверими вериги от мисли, и текущо проучване за това как да се избегне хакването на възнаграждението и сривът на разнообразието, когато се обучавате многократно върху собствените резултати на модела.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Rejection Sampling Fine-Tuning quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво представлява фината настройка на извадката за отхвърляне?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Кой цикъл най-добре описва как фината настройка на отхвърлянето на пробите подобрява модел?
RFT взема проби от множество отговори, филтрира тези с най-висок резултат и фино настройва модела за тези победители.
В проверими области като математика или код, какво може да послужи като награда?
За задачи, които могат да се проверяват, RFT може да използва точна коректност или тестове за преминаване на единица, като избягва научен модел на възнаграждение.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Какво прави ефективно обучението по примерите за максимално възнаграждение?
Като се учи от най-добре филтрираните отговори, моделът интернализира поведение с по-високо качество в едно поколение.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема