Versterking van het leren van menselijke feedback
RLHF is de techniek die een ruw taalmodel omzet in een behulpzame, beleefde assistent door het te trainen op menselijke voorkeuren.
Overzicht
It matters because it aligns model behavior with what people actually want, not just what is statistically likely.
Diepe duik
Een vooraf getraind taalmodel voorspelt plausibele tekst, maar plausibel is niet hetzelfde als behulpzaam, eerlijk of veilig. RLHF lost dit in fasen op. Ten eerste leert het model onder toezicht om instructies te volgen met behulp van door mensen geschreven voorbeeldantwoorden. Vervolgens vergelijken mensen paren modelreacties op dezelfde prompt en kiezen de betere; deze vergelijkingen trainen een afzonderlijk beloningsmodel dat elke reactie scoort. Ten slotte wordt het taalmodel geoptimaliseerd met versterkend leren om antwoorden te produceren die het beloningsmodel hoog scoort. Een straf zorgt ervoor dat het niet te ver afdwaalt van het originele model, zodat het vloeiend blijft en geen misbruik maakt van de eigenaardigheden van het beloningsmodel. RLHF speelde een centrale rol bij het bruikbaar maken van assistenten in de stijl van ChatGPT.
Technisch inzicht
Het beloningsmodel wordt meestal getraind op voorkeursparen met een verlies in Bradley-Terry-stijl, waarbij wordt geleerd het door de mens geprefereerde antwoord een hogere scalaire score te geven. Het beleid wordt vervolgens bijgewerkt met PPO (Proximal Policy Optimization), dat de beloning maximaliseert, terwijl een KL-divergentiestraf ten opzichte van het referentiemodel overoptimalisatie en 'beloningshacking' voorkomt. Omdat PPO onhandig is, slaan nieuwere methoden zoals DPO (Direct Preference Optimization) het expliciete beloningsmodel en de versterkingslus over, waardoor het beleid rechtstreeks vanuit voorkeursparen wordt geoptimaliseerd.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van versterkend leren van menselijke feedback
RLHF wordt gestroomlijnd en deels geautomatiseerd. DPO en aanverwante methoden voor directe voorkeur vervangen voor veel teams de zware PPO-pijplijn, en RLAIF gebruikt door AI gegenereerde feedback (zoals in Constitutionele AI) om de etiketteringskosten te verlagen. Onderzoek richt zich op het hacken van beloningen, vooroordelen van annotators en de moeilijkheid om lange of deskundige reacties te beoordelen, met technieken als processupervisie en debat. Verwacht afstemming om menselijke feedback en AI-feedback te combineren, rijkere beloningssignalen die verder gaan dan een enkele duim omhoog, en een groeiend onderzoek naar wie de voorkeuren geeft en welke waarden zij coderen.
Implementatie in de echte wereld
Een chatassistent zo afstemmen dat deze schadelijke verzoeken weigert en nuttige, goed gestructureerde antwoorden geeft in plaats van alleen plausibele tekst.
Het rangschikken van samenvattingen op basis van menselijke voorkeur om een model te trainen dat samenvattingen schrijft die mensen daadwerkelijk nuttig vinden.
Het verminderen van giftige of bevooroordeelde resultaten door reacties te belonen die menselijke beoordelaars als respectvol en veilig beschouwen.
Het gebruik van DPO op een dataset van voorkeurs- versus afgewezen antwoorden om een open-sourcemodel op één lijn te brengen zonder een volledige PPO-lus uit te voeren.
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Versterkend leren
Frequently asked questions
What is Reinforcement Learning From Human Feedback?
RLHF is de techniek die een ruw taalmodel omzet in een behulpzame, beleefde assistent door het te trainen op menselijke voorkeuren. Het is van belang omdat het modelgedrag afstemt op wat mensen daadwerkelijk willen, en niet alleen op wat statistisch waarschijnlijk is.
Wat is het belangrijkste doel van RLHF voor een taalmodel?
RLHF stuurt een model in de richting van reacties waar mensen de voorkeur aan geven, waardoor het nuttiger, eerlijker en veiliger wordt in plaats van alleen maar plausibel.
Wat leert het beloningsmodel in RLHF eigenlijk?
Het beloningsmodel is getraind op vergelijkingen van menselijke voorkeuren om reacties te scoren, en levert het signaal waartegen het beleid optimaliseert.
Waarom wordt tijdens de RL-stap een KL-divergentiestraf ten opzichte van het oorspronkelijke model gebruikt?
De KL-straf houdt het geoptimaliseerde beleid dicht bij het referentiemodel en beschermt tegen beloningshacking en verlies van spreekvaardigheid.
Hoe worden voorkeursgegevens doorgaans verzameld voor het beloningsmodel?
Annotators kiezen de voorkeursreactie in paarsgewijze vergelijkingen, waardoor het beloningsmodel wordt getraind via een verlies in Bradley-Terry-stijl.
Welk voordeel biedt DPO (Direct Preference Optimization) ten opzichte van de klassieke RLHF-pijplijn?
DPO leidt het doel rechtstreeks af van voorkeuren, waarbij het afzonderlijke beloningsmodel en de onhandige leerstap voor versterking worden vermeden.