Technische GIDS
Q-Leren
Q-Learning is een versterkend leeralgoritme dat een agent leert welke acties het beste resultaat opleveren, door geleidelijk aan de waarde van elke beweging te leren met vallen en opstaan.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Overzicht
Het is belangrijk omdat het optimaal gedrag kan vinden zonder ooit de regels van zijn omgeving te horen.
Diepe duik
Q-Learning leert een functie genaamd Q(s, a): de verwachte langetermijnbeloning van het ondernemen van actie 'a' in toestand 's' en daarna optimaal handelen. De agent begint niets te weten, probeert acties en observeert beloningen. Na elke stap verschuift het zijn schatting van de Q-waarde in de richting van de zojuist ontvangen beloning plus de best verdisconteerde toekomstige waarde die het van de volgende staat verwacht. Cruciaal is dat het ‘buiten het beleid’ en ‘modelvrij’ is: het kan het beste beleid leren terwijl het willekeurig onderzoek doet, en het heeft nooit een model nodig van hoe de wereld verandert. Bij voldoende onderzoek van elk staat-actiepaar convergeren de Q-waarden aantoonbaar naar de optimale waarden, en de beste actie in welke staat dan ook is simpelweg degene met de hoogste Q.
Implementatie in de echte wereld
Atari-gameplayagenten (DeepMind's DQN) leren Breakout en Pong rechtstreeks vanaf schermpixels spelen
Optimalisatie van de timing van verkeerslichten op kruispunten om de totale wachttijd voor voertuigen te minimaliseren
Robotnavigatie door een raster of doolhof waar de robot het kortste pad leert om de beloning te maximaliseren
Dynamische prijs- en voorraadbeslissingen waarbij een agent leert welke acties de winst op de lange termijn maximaliseren
De toekomst van Q-Learning
Klassiek Q-Learning in tabelvorm heeft moeite wanneer er te veel toestanden zijn om in een tabel op te slaan. De dominante richting is het combineren ervan met neurale netwerken, zoals in Deep Q-Networks (DQN), die Q-waarden benaderen op basis van ruwe input zoals pixels. Onderzoek gaat door met het stabiliseren hiervan met herhaling van ervaringen, doelnetwerken en varianten zoals Double DQN en distributionele Q-Learning die overschattingsvooroordelen verminderen en volledige rendementsverdelingen vertegenwoordigen in plaats van enkelvoudige gemiddelden.
Het in de praktijk brengen
Waarom het ertoe doet
- Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
- Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
- Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
Pas op voor
- Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
- Infrastructuur- en onderhoudskosten worden vaak onderschat.
- De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Volgende stappen
- Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
- Benchmark onder realistische belasting- en gegevensomstandigheden.
- Instrumentbewaking op fouten, drift en gebruikersimpact.
- Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Q-Learning quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is Q-Learning?
Q-Learning is een versterkend leeralgoritme dat een agent leert welke acties het beste resultaat opleveren, door geleidelijk aan de waarde van elke beweging te leren met vallen en opstaan. Het is belangrijk omdat het optimaal gedrag kan vinden zonder ooit de regels van zijn omgeving te horen.
Wat vertegenwoordigt de Q-waarde Q(s, a)?
Q(s, a) schat de totale toekomstige beloning met korting voor het ondernemen van actie a in toestand s en het zich daarna optimaal gedragen, niet alleen de onmiddellijke beloning.
Waarom wordt Q-Learning omschreven als 'buiten het beleid'?
Het maximale aantal volgende acties betekent dat Q-Learning de waarde leert van het hebzuchtige optimale beleid, zelfs terwijl de agent met een ander gedragsbeleid onderzoekt.
Wat controleert de kortingsfactor gamma in de updateregel?
Gamma (tussen 0 en 1) geeft korting op toekomstige beloningen; waarden dichtbij 1 maken de agent verziend, waarden dichtbij 0 maken hem kortzichtig.
Wat is de temporele verschilfout (TD) in Q-Learning?
De TD-fout is de kloof tussen de nieuwe doelschatting (beloning plus best verdisconteerde toekomstige waarde) en de oude Q-schatting; de update verkleint deze kloof.
Waarom worstelt Q-Learning in tabelvorm met grote problemen zoals videogames met pixels?
Een opzoektabel heeft een invoer nodig per toestand-actiepaar, wat onhaalbaar is als het aantal toestanden in de miljarden loopt, wat neurale netwerkbenaderers zoals DQN motiveert.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd