À suivreGuide suivant
QLoRA et réglage fin 4 bits
IA linguistique
GUIDE IA du langage
Ajustement précis de l’échantillonnage de rejet
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Plongée profonde
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Mise en œuvre dans le monde réel
Aligner les modèles de style Lama en échantillonnant plusieurs réponses par invite, en conservant les scores de modèle de récompense les plus élevés, puis en SFT sur celles-ci
Améliorer un solveur mathématique en générant de nombreuses solutions et en ne conservant que celles qui atteignent la réponse correcte et vérifiable
Génération de code où les candidats ne sont conservés que s'ils réussissent les tests unitaires, puis utilisés comme données de formation
Créer des ensembles de données d'instructions synthétiques en filtrant les meilleures réponses auto-générées d'un modèle pour le prochain cycle de formation
L’avenir du réglage fin de l’échantillonnage des rejets
Le RFT est au cœur de la post-formation moderne, souvent utilisé avant ou parallèlement aux méthodes RL telles que PPO et DPO. Son attrait grandit grâce à l'inférence bon marché et aux vérificateurs automatiques puissants : à mesure que les modèles s'améliorent en termes d'auto-génération et d'auto-vérification, l'échantillonnage de rejet itéré prend en charge les données synthétiques et les boucles d'auto-amélioration. Attendez-vous à une intégration plus étroite avec des modèles de raisonnement qui produisent des chaînes de pensée vérifiables, et à une étude continue sur la manière d'éviter le piratage des récompenses et l'effondrement de la diversité lors d'un entraînement répété sur les propres résultats d'un modèle.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Rejection Sampling Fine-Tuning quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que le réglage fin de l’échantillonnage de rejet ?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
RFT échantillonne plusieurs réponses, filtre celles qui obtiennent les meilleurs scores et affine le modèle sur ces gagnants.
Dans des domaines vérifiables comme les mathématiques ou le code, qu’est-ce qui peut servir de récompense ?
Pour les tâches vérifiables, RFT peut utiliser l'exactitude exacte ou réussir des tests unitaires, évitant ainsi un modèle de récompense appris.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
La formation sur les échantillons à récompense maximale fait effectivement quoi ?
En apprenant des réponses les plus filtrées, le modèle internalise un comportement de meilleure qualité en une seule génération.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet