Basisprincipes GIDS

Versterking leren met meerdere agenten

Multi-agent reinforcement learning bestudeert situaties waarin meerdere besluitvormende agenten leren in een gedeelde omgeving.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van leren met meerdere agenten
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Agenten kunnen samenwerken, concurreren of gemengde prikkels hebben, en het leerproces van elke agent verandert de omgeving waarmee anderen worden geconfronteerd.

Diepe duik

Lowe et al. beschrijven MADDPG, dat gecentraliseerde critici gebruikt tijdens de training voor multi-agent continue besturing en gedecentraliseerde actoren bij de uitvoering. QMIX van Rashid et al. gebruikt een monotoon mixnetwerk over individuele nutsfuncties; VDN van Sunehag et al. somt individuele actiewaarden op. Dit zijn methoden voor specifieke coöperatieve of gemengde instellingen, geen inwisselbare oplossingen. Markov-games breiden het MDP-kader uit naar meerdere agenten met overgangen van toestanden en agentspecifieke acties/beloningen.

Implementatie in de echte wereld

In een coöperatieve benchmark kunnen agenten een teamBeloning delen terwijl ze verschillende delen van de omgeving observeren.

Centralized-training-methoden kunnen de globale toestand gebruiken tijdens de training en lokale observaties tijdens de uitvoering.

Value-decomposition-methoden zoals VDN en QMIX representeren teamwaarden met behulp van individuele agentwaarden onder verschillende structurele aannames.

Zelf-spelen kan trainen tegen kopieën of versies van een beleid, zoals geëvalueerd in specifieke competitieve-spelstudies.

De toekomst van leren met meerdere agenten

Kies methoden op basis van de waarneembaarheid van de omgeving, de beloningsstructuur, de communicatiebeperkingen en de evaluatietaak. Rapporteer benchmark- en trainingsomstandigheden omdat een resultaat in het ene multi-agentscenario geen overdracht naar een ander garandeert. De geciteerde artikelen tonen geen brede huidige implementaties aan in magazijnen, verkeer of de gezondheidszorg.

Het in de praktijk brengen

Waarom het ertoe doet

  • Duidelijkere beslissingen. Het helpt u duidelijke technische claims te scheiden van marketingtaal.
  • Kosten en budget. U kunt betere implementatievragen stellen voordat u geld of tijd uitgeeft.
  • Team en workflow. Teams met gedeeld begrip nemen betere product-, beleids- en leerbeslissingen.

Pas op voor

  • Verschillende teams kunnen dezelfde term verschillend gebruiken, dus definieer de reikwijdte vroeg.
  • Benchmarks kunnen er sterk uitzien, terwijl de prestaties in de echte wereld ongelijkmatig zijn.
  • Het negeren van datakwaliteit en evaluatieplannen zorgt vaak voor fragiele resultaten.

Volgende stappen

  1. Begin met een definitie in duidelijke taal van het gewenste resultaat.
  2. Kies één successtatistiek en één faalconditie voordat u gaat testen.
  3. Voer een kleine pilot uit met representatieve gegevens, niet met een gepolijste demoset.
  4. Documenteer waar Multi-Agent Reinforcement Learning helpt en waar eenvoudigere methoden beter zijn.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Maak de quiz over Multi-Agent Reinforcement Learning

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is Multi-Agent Reinforcement Learning?

Multi-agent reinforcement learning bestudeert situaties waarin meerdere besluitvormende agenten leren in een gedeelde omgeving. Agenten kunnen samenwerken, concurreren of gemengde prikkels hebben, en het leerproces van elke agent verandert de omgeving waarmee anderen worden geconfronteerd.

Wat maakt de omgeving 'niet-stationair' vanuit het perspectief van één agent in MARL?

Omdat elke agent zijn beleid bijwerkt tijdens de training, wordt elke agent effectief geconfronteerd met een bewegend doelwit: de dynamiek van de omgeving verandert naarmate anderen leren.

Wat betekent 'gecentraliseerde training met gedecentraliseerde uitvoering' (CTDE)?

CTDE-methoden zoals MADDPG en QMIX maken gebruik van globale informatie voor stabiel leren, terwijl elke agent alleen zijn eigen observaties gebruikt.

Welk wiskundig raamwerk generaliseert de single-agent MDP naar meerdere agenten?

Markov-spellen (ook wel stochastische spellen genoemd) breiden MDP's uit door gezamenlijke acties en beloningen per agent voor meerdere besluitvormers te hebben.

Hoe is de beloning doorgaans gestructureerd in een puur coöperatieve MARL-omgeving?

Coöperatieve instellingen geven agenten een gedeeld doel, dus de uitdaging wordt het coördineren van acties en het toekennen van krediet binnen het team.

Welke trainingsaanpak gebruikte OpenAI Five om te verbeteren in Dota 2?

Het artikel over OpenAI Five beschrijft grootschalig zelf-spelen, inclusief spellen tegen versies van het beleid. AlphaStar gebruikte ook menselijke speldata in zijn training, dus dit item is specifiek voor OpenAI Five.