DalšíDalší průvodce
QLoRA a 4bitové jemné ladění
Jazyk AI
Jazyk AI GUIDE
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Zarovnání modelů ve stylu lámy vzorkováním více odpovědí na výzvu, udržení nejvyššího skóre modelu odměny, poté SFT na ty
Vylepšení matematického řešitele generováním mnoha řešení a ponecháním pouze těch, které dosáhnou správné a ověřitelné odpovědi
Generování kódu, kde jsou kandidáti uchováváni pouze v případě, že projdou jednotkovými testy, a poté se používají jako tréninková data
Vytváření datových sad syntetických instrukcí filtrováním vlastních nejlepších vlastních odpovědí modelu pro další tréninkové kolo
RFT je ústředním bodem moderního post-školení, často se používá před nebo vedle metod RL, jako je PPO a DPO. Jeho přitažlivost roste s levnou inferencí a silnými automatickými verifikátory: jak se modely zlepšují v samogenerování a samokontrole, iterované vzorkování odmítnutí podporuje syntetická data a smyčky sebezdokonalování. Očekávejte těsnější integraci s modely uvažování, které produkují ověřitelné myšlenkové řetězce, a pokračující studium toho, jak se vyhnout hackování odměn a kolapsu diverzity při opakovaném tréninku na vlastních výstupech modelu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
RFT vzorkuje více odpovědí, filtruje ty s nejvyšším skóre a dolaďuje model na těchto vítězích.
U kontrolovatelných úkolů může RFT používat přesnou správnost nebo absolvování jednotkových testů, čímž se vyhne naučenému modelu odměn.
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Učením se z nejlépe filtrovaných odpovědí model internalizuje chování vyšší kvality v jediné generaci.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
QLoRA a 4bitové jemné ladění
Jazyk AI