Technische GIDS

Q-Leren

Q-Learning is een versterkend leeralgoritme dat een agent leert welke acties het beste resultaat opleveren, door geleidelijk aan de waarde van elke beweging te leren met vallen en opstaan.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van Q-Learning
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is belangrijk omdat het optimaal gedrag kan vinden zonder ooit de regels van zijn omgeving te horen.

Diepe duik

Q-Learning leert een functie genaamd Q(s, a): de verwachte langetermijnbeloning van het ondernemen van actie 'a' in toestand 's' en daarna optimaal handelen. De agent begint niets te weten, probeert acties en observeert beloningen. Na elke stap verschuift het zijn schatting van de Q-waarde in de richting van de zojuist ontvangen beloning plus de best verdisconteerde toekomstige waarde die het van de volgende staat verwacht. Cruciaal is dat het ‘buiten het beleid’ en ‘modelvrij’ is: het kan het beste beleid leren terwijl het willekeurig onderzoek doet, en het heeft nooit een model nodig van hoe de wereld verandert. Bij voldoende onderzoek van elk staat-actiepaar convergeren de Q-waarden aantoonbaar naar de optimale waarden, en de beste actie in welke staat dan ook is simpelweg degene met de hoogste Q.

Implementatie in de echte wereld

Atari-gameplayagenten (DeepMind's DQN) leren Breakout en Pong rechtstreeks vanaf schermpixels spelen

Optimalisatie van de timing van verkeerslichten op kruispunten om de totale wachttijd voor voertuigen te minimaliseren

Robotnavigatie door een raster of doolhof waar de robot het kortste pad leert om de beloning te maximaliseren

Dynamische prijs- en voorraadbeslissingen waarbij een agent leert welke acties de winst op de lange termijn maximaliseren

De toekomst van Q-Learning

Klassiek Q-Learning in tabelvorm heeft moeite wanneer er te veel toestanden zijn om in een tabel op te slaan. De dominante richting is het combineren ervan met neurale netwerken, zoals in Deep Q-Networks (DQN), die Q-waarden benaderen op basis van ruwe input zoals pixels. Onderzoek gaat door met het stabiliseren hiervan met herhaling van ervaringen, doelnetwerken en varianten zoals Double DQN en distributionele Q-Learning die overschattingsvooroordelen verminderen en volledige rendementsverdelingen vertegenwoordigen in plaats van enkelvoudige gemiddelden.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Q-Learning quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is Q-Learning?

Q-Learning is een versterkend leeralgoritme dat een agent leert welke acties het beste resultaat opleveren, door geleidelijk aan de waarde van elke beweging te leren met vallen en opstaan. Het is belangrijk omdat het optimaal gedrag kan vinden zonder ooit de regels van zijn omgeving te horen.

Wat vertegenwoordigt de Q-waarde Q(s, a)?

Q(s, a) schat de totale toekomstige beloning met korting voor het ondernemen van actie a in toestand s en het zich daarna optimaal gedragen, niet alleen de onmiddellijke beloning.

Waarom wordt Q-Learning omschreven als 'buiten het beleid'?

Het maximale aantal volgende acties betekent dat Q-Learning de waarde leert van het hebzuchtige optimale beleid, zelfs terwijl de agent met een ander gedragsbeleid onderzoekt.

Wat controleert de kortingsfactor gamma in de updateregel?

Gamma (tussen 0 en 1) geeft korting op toekomstige beloningen; waarden dichtbij 1 maken de agent verziend, waarden dichtbij 0 maken hem kortzichtig.

Wat is de temporele verschilfout (TD) in Q-Learning?

De TD-fout is de kloof tussen de nieuwe doelschatting (beloning plus best verdisconteerde toekomstige waarde) en de oude Q-schatting; de update verkleint deze kloof.

Waarom worstelt Q-Learning in tabelvorm met grote problemen zoals videogames met pixels?

Een opzoektabel heeft een invoer nodig per toestand-actiepaar, wat onhaalbaar is als het aantal toestanden in de miljarden loopt, wat neurale netwerkbenaderers zoals DQN motiveert.