Il prossimoProssima guida
QLoRA e regolazione fine a 4 bit
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Allineamento dei modelli in stile lama campionando più risposte per richiesta, mantenendo i punteggi più alti del modello di ricompensa, quindi SFT su quelli
Migliorare un risolutore matematico generando molte soluzioni e conservando solo quelle che raggiungono la risposta corretta e verificabile
Generazione di codice in cui i candidati vengono conservati solo se superano i test unitari, quindi utilizzati come dati di training
Costruire set di dati di istruzioni sintetiche filtrando le migliori risposte autogenerate di un modello per il successivo ciclo di addestramento
La RFT è fondamentale per il moderno post-formazione, spesso utilizzata prima o insieme ai metodi RL come PPO e DPO. Il suo fascino cresce con inferenze a basso costo e potenti verificatori automatici: man mano che i modelli migliorano nell’autogenerazione e nell’autocontrollo, il campionamento del rifiuto iterato supporta i cicli di dati sintetici e di auto-miglioramento. Aspettatevi un'integrazione più stretta con modelli di ragionamento che producano catene di pensiero verificabili e uno studio continuo su come evitare l'hacking della ricompensa e il collasso della diversità quando si forma ripetutamente sui risultati di un modello.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
RFT campiona risposte multiple, filtra quelle con il punteggio più alto e perfeziona il modello su quei vincitori.
Per le attività verificabili, RFT può utilizzare la correttezza esatta o il superamento dei test unitari, evitando un modello di ricompensa appreso.
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Imparando dalle risposte filtrate principali, il modello interiorizza comportamenti di qualità superiore in una singola generazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
QLoRA e regolazione fine a 4 bit
Intelligenza artificiale linguistica