LegközelebbKövetkező útmutató
QLoRA és 4 bites finomhangolás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
A láma-stílusú modellek összehangolása felszólításonkénti több válasz mintavételével, a legmagasabb jutalommodell-pontszámok megtartásával, majd ezeken az SFT-vel
A matematikai megoldó fejlesztése sok megoldás generálásával és csak azok megtartásával, amelyek elérik a helyes, ellenőrizhető választ
Kódgenerálás, ahol a jelölteket csak akkor tartják meg, ha sikeresen teljesítenek az egységteszteken, majd képzési adatként használják őket
Szintetikus utasítás-adatkészletek létrehozása a modell saját legjobb saját maga által generált válaszainak szűrésével a következő képzési körhöz
Az RFT központi szerepet tölt be a modern utóképzésben, gyakran használják az RL módszerek, például a PPO és a DPO előtt vagy mellett. A vonzereje az olcsó következtetésekkel és az erős automatikus hitelesítőkkel nő: ahogy a modellek egyre jobbak az öngenerálásban és az önellenőrzésben, az iterált elutasítás mintavételezése támogatja a szintetikus adatokat és az önfejlesztő hurkokat. Szorosabb integrációra számíthat az igazolható gondolati láncokat létrehozó érvelési modellekkel, valamint folyamatos tanulmányozással, hogyan lehet elkerülni a jutalom hackelést és a diverzitás összeomlását, amikor ismételten a modell saját kimeneteire oktat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Az RFT több válaszból mintát vesz, a legjobb pontszámot elértekre szűri, és ezekre a nyertesekre finomhangolja a modellt.
Ellenőrizhető feladatokhoz az RFT használhat pontos helyességet vagy egységteszteket, elkerülve a tanult jutalmazási modellt.
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
A legjobban szűrt válaszokból tanulva a modell egyetlen generáció alatt magasabb színvonalú viselkedést internalizál.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
QLoRA és 4 bites finomhangolás
Nyelvi AI