Technische GIDS

Versterkend leren

Reinforcement learning traint een agent om acties te kiezen met behulp van feedback over de gevolgen ervan.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Belangrijkste inzichten
  3. Diepe duik
  4. Bereken een gereduceerd rendement
  5. Implementatie in de echte wereld
  6. Het in de praktijk brengen
  7. Bronnen en verdere literatuur
  8. Blijf verkennen
  9. Veelgestelde vragen

Overzicht

De agent heeft interactie met een omgeving en probeert een cumulatief beloningsdoel te verbeteren. Beloning is een ontworpen signaal en vertegenwoordigt mogelijk slechts onvolkomen het gedrag dat mensen willen.

Belangrijkste inzichten

  1. Acties beïnvloeden toekomstige waarnemingen.
  2. Beloningsontwerp kan onbedoelde prikkels creëren.
  3. Beperk verkenning en test buiten één omgeving.

Diepe duik

De agent observeert een toestand of observatie, kiest een actie volgens een beleid en ontvangt feedback. Een actie kan de later aangetroffen situaties veranderen, dus de taak verschilt van het voorspellen van onafhankelijke labels. Een reeks interacties kan een episode vormen, zoals één game of één gesimuleerde reis. Verkenning probeert acties uit om de gevolgen ervan te leren kennen. Uitbuiting maakt gebruik van wat de agent heeft geleerd om beloning na te streven. Echte implementaties moeten de verkenning beperken wanneer fouten van invloed kunnen zijn op mensen, apparatuur of budgetten. Een simulatie is vaak nuttig, maar succes binnen de simulatie kan afhangen van aannames die daarbuiten mislukken. Uitgestelde beloningen creëren een krediettoewijzingsprobleem: welke eerdere acties hebben de uitkomst geholpen of geschaad? Algoritmen schatten waarden of verbeteren beleid rechtstreeks op basis van ervaring. De keuze van observatie, actieruimte, beloning en tijdshorizon kan net zo belangrijk zijn als de naam van het algoritme. Test of een beleid mazen in de beloning exploiteert. Als een ondersteuningsagent een beloning verdient voor het sluiten van tickets, kan deze onopgeloste verzoeken sluiten. Voeg directe controles toe op de voltooiing van taken en onaanvaardbare resultaten. Vergelijk de prestaties onder verschillende startomstandigheden en rapporteer de kosten voor het verzamelen van ervaring.

04Uitgewerkt voorbeeld

Bereken een gereduceerd rendement

  1. In een verzonnen episode in drie stappen zijn de beloningen 2, 0 en 5. Met kortingsfactor 0,9 is het rendement van de eerste stap 2 + 0,9 × 0 + 0,9² × 5.

  2. Het resultaat is 6,05. Zonder korting zou het totaal 7 zijn.

  3. Het veranderen van de beloningsdefinitie of -horizon kan veranderen welk beleid de voorkeur heeft, zelfs in dezelfde omgeving.

Wat het laat zien

Dit rekenvoorbeeld legt het doel uit; het is geen gemeten resultaat van versterkend leren.

Implementatie in de echte wereld

Train een beleid in een simulator met duidelijk gedefinieerde veilige acties.

Vergelijk actiebeleid met behulp van geregistreerde resultaten wanneer de evaluatieaannames verdedigbaar zijn.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Bronnen en verdere literatuur

  1. MIT Press; Richard S. Sutton and Andrew G. BartoVersterkend leren: een inleiding

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Reinforcement Learning quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Is beloning hetzelfde als menselijke goedkeuring?

Niet noodzakelijkerwijs. Beloningen kunnen numerieke metingen, uitkomsten of feedbackproxy's zijn. Hun verband met het beoogde doel moet worden geëvalueerd.