Technische GIDS
Versterkend leren
Reinforcement learning traint een agent om acties te kiezen met behulp van feedback over de gevolgen ervan.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Overzicht
De agent heeft interactie met een omgeving en probeert een cumulatief beloningsdoel te verbeteren. Beloning is een ontworpen signaal en vertegenwoordigt mogelijk slechts onvolkomen het gedrag dat mensen willen.
Belangrijkste inzichten
- Acties beïnvloeden toekomstige waarnemingen.
- Beloningsontwerp kan onbedoelde prikkels creëren.
- Beperk verkenning en test buiten één omgeving.
Diepe duik
De agent observeert een toestand of observatie, kiest een actie volgens een beleid en ontvangt feedback. Een actie kan de later aangetroffen situaties veranderen, dus de taak verschilt van het voorspellen van onafhankelijke labels. Een reeks interacties kan een episode vormen, zoals één game of één gesimuleerde reis. Verkenning probeert acties uit om de gevolgen ervan te leren kennen. Uitbuiting maakt gebruik van wat de agent heeft geleerd om beloning na te streven. Echte implementaties moeten de verkenning beperken wanneer fouten van invloed kunnen zijn op mensen, apparatuur of budgetten. Een simulatie is vaak nuttig, maar succes binnen de simulatie kan afhangen van aannames die daarbuiten mislukken. Uitgestelde beloningen creëren een krediettoewijzingsprobleem: welke eerdere acties hebben de uitkomst geholpen of geschaad? Algoritmen schatten waarden of verbeteren beleid rechtstreeks op basis van ervaring. De keuze van observatie, actieruimte, beloning en tijdshorizon kan net zo belangrijk zijn als de naam van het algoritme. Test of een beleid mazen in de beloning exploiteert. Als een ondersteuningsagent een beloning verdient voor het sluiten van tickets, kan deze onopgeloste verzoeken sluiten. Voeg directe controles toe op de voltooiing van taken en onaanvaardbare resultaten. Vergelijk de prestaties onder verschillende startomstandigheden en rapporteer de kosten voor het verzamelen van ervaring.
04Uitgewerkt voorbeeld
Bereken een gereduceerd rendement
In een verzonnen episode in drie stappen zijn de beloningen 2, 0 en 5. Met kortingsfactor 0,9 is het rendement van de eerste stap 2 + 0,9 × 0 + 0,9² × 5.
Het resultaat is 6,05. Zonder korting zou het totaal 7 zijn.
Het veranderen van de beloningsdefinitie of -horizon kan veranderen welk beleid de voorkeur heeft, zelfs in dezelfde omgeving.
Wat het laat zien
Dit rekenvoorbeeld legt het doel uit; het is geen gemeten resultaat van versterkend leren.
Implementatie in de echte wereld
Train een beleid in een simulator met duidelijk gedefinieerde veilige acties.
Vergelijk actiebeleid met behulp van geregistreerde resultaten wanneer de evaluatieaannames verdedigbaar zijn.
Het in de praktijk brengen
Waarom het ertoe doet
- Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
- Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
- Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
Pas op voor
- Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
- Infrastructuur- en onderhoudskosten worden vaak onderschat.
- De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Volgende stappen
- Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
- Benchmark onder realistische belasting- en gegevensomstandigheden.
- Instrumentbewaking op fouten, drift en gebruikersimpact.
- Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Bronnen en verdere literatuur
- MIT Press; Richard S. Sutton and Andrew G. BartoVersterkend leren: een inleiding
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Reinforcement Learning quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Is beloning hetzelfde als menselijke goedkeuring?
Niet noodzakelijkerwijs. Beloningen kunnen numerieke metingen, uitkomsten of feedbackproxy's zijn. Hun verband met het beoogde doel moet worden geëvalueerd.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd