Als nächstesNächster Leitfaden
QLoRA und 4-Bit-Feinabstimmung
Sprach-KI
Sprach-KI-GUIDE
Feinabstimmung der Ablehnungsstichprobe
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Tiefer Einblick
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Reale Umsetzung
Ausrichtung von Modellen im Lama-Stil durch Stichprobenziehung mehrerer Antworten pro Eingabeaufforderung, Beibehaltung der höchsten Belohnungsmodellwerte und anschließende SFT für diese
Verbesserung eines Mathe-Lösers, indem viele Lösungen generiert und nur diejenigen beibehalten werden, die die richtige, überprüfbare Antwort ergeben
Codegenerierung, bei der Kandidaten nur dann behalten werden, wenn sie Unit-Tests bestehen, und dann als Trainingsdaten verwendet werden
Erstellen synthetischer Befehlsdatensätze durch Filtern der besten selbst generierten Antworten eines Modells für die nächste Trainingsrunde
Die Zukunft der Feinabstimmung der Ablehnungsstichprobe
RFT ist für das moderne Post-Training von zentraler Bedeutung und wird häufig vor oder neben RL-Methoden wie PPO und DPO eingesetzt. Seine Attraktivität wächst mit kostengünstigen Schlussfolgerungen und starken automatischen Verifizierern: Da Modelle besser in der Lage sind, sich selbst zu generieren und zu überprüfen, unterstützt die iterierte Ablehnungsstichprobe Schleifen für synthetische Daten und Selbstverbesserung. Erwarten Sie eine engere Integration mit Argumentationsmodellen, die überprüfbare Gedankenketten erzeugen, und fortlaufende Untersuchungen darüber, wie Belohnungs-Hacking und Diversity-Zusammenbruch vermieden werden können, wenn wiederholt an den eigenen Ergebnissen eines Modells trainiert wird.
In die Tat umsetzen
Warum es wichtig ist
- Geschwindigkeit und Umfang. Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
- Zugang und Erreichbarkeit. Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
- Klarere Entscheidungen. Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Achten Sie auf
- Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
- Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
- Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Nächste Schritte
- Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
- Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
- Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
- Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Rejection Sampling Fine-Tuning quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
RFT prüft mehrere Antworten, filtert die Antworten mit der höchsten Punktzahl und passt das Modell anhand dieser Gewinner an.
Was kann in überprüfbaren Bereichen wie Mathematik oder Code als Belohnung dienen?
Für überprüfbare Aufgaben kann RFT die exakte Korrektheit oder das Bestehen von Unit-Tests verwenden und so ein erlerntes Belohnungsmodell vermeiden.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Was bewirkt das Training an den Beispielen mit der maximalen Belohnung effektiv?
Durch das Lernen aus den am besten gefilterten Antworten verinnerlicht das Modell Verhalten höherer Qualität in einer einzigen Generation.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt