Awọn ipilẹ Itọsọna

Multi-Agent Imudara Ẹkọ

Ẹkọ Imudara Aṣoju Olona-Aṣoju (MARL) ṣe ikẹkọ ọpọlọpọ awọn aṣoju ikẹkọ ti o pin agbegbe kan, ọkọọkan ṣe adaṣe ihuwasi rẹ lakoko ti awọn miiran tun ṣe deede.

Akopọ

Ẹkọ Imudara Aṣoju Olona-Aṣoju (MARL) ṣe ikẹkọ ọpọlọpọ awọn aṣoju ikẹkọ ti o pin agbegbe kan, ọkọọkan ṣe adaṣe ihuwasi rẹ lakoko ti awọn miiran tun ṣe deede. O ṣe pataki nitori ọpọlọpọ awọn iṣoro gidi-aye - ijabọ, awọn ọja, awọn ẹgbẹ ti awọn roboti - kan ọpọlọpọ awọn oluṣe ipinnu, kii ṣe ọkan.

Ẹkọ Imudara Aṣoju pupọ joko ni ohun elo irinṣẹ AI akọkọ. Nigbati o ba loye rẹ, awọn akọle AI miiran di rọrun lati ṣe iṣiro ati afiwe.

Jin Dive

Ni ẹkọ imuduro oluranlowo ẹyọkan, aṣoju kan kọ ẹkọ eto imulo nipa mimu ẹsan pọ si ni agbegbe ti o wa titi. MARL ṣe afikun awọn aṣoju diẹ sii, ati pe o yi ohun gbogbo pada: lati oju-ọna aṣoju kọọkan, agbegbe ko ni iduro nitori awọn miiran n yipada awọn eto imulo wọn. Awọn aṣoju le jẹ ifọwọsowọpọ (pinpin ere ẹgbẹ kan, bii awọn roboti-bọọlu afẹsẹgba), ifigagbaga (apapọ-odo, bii ere ere ere tabi ilepa-sapa), tabi idapọpọ. Awọn oniwadi lo awọn ilana ilana gẹgẹbi awọn ere Markov (awọn ere stochastic) ti o ṣe gbogbogbo ilana ilana ipinnu Markov aṣoju-ọkan. Awọn abajade olokiki pẹlu DeepMind's AlphaStar ti o de Grandmaster ni StarCraft II ati OpenAI Awọn ẹgbẹ Dota 2 ti o ṣẹgun ọjọgbọn, mejeeji gbarale awọn olugbe ti awọn aṣoju ti o kọkọ si ara wọn nipasẹ ere-ara-ẹni.

Imọ-imọ-ẹrọ

Ipenija pataki kan kii ṣe iduro: bi gbogbo aṣoju ṣe n ṣe imudojuiwọn eto imulo rẹ, awọn miiran dojukọ ibi-afẹde gbigbe kan, nitorinaa ikẹkọ ominira alaigbọran le kuna lati pejọ. Atunṣe olokiki jẹ ikẹkọ ti aarin pẹlu ipaniyan isọdọtun (CTDE), ti a lo nipasẹ awọn algoridimu bii MADDPG ati QMIX. Lakoko ikẹkọ, alariwisi kan rii gbogbo awọn akiyesi awọn aṣoju ati awọn iṣe lati ṣe iṣiro awọn gradients iduroṣinṣin, ṣugbọn ni imuṣiṣẹ aṣoju kọọkan n ṣiṣẹ ni lilo awọn akiyesi agbegbe tirẹ nikan - apapọ ẹkọ iṣọpọ pẹlu adaṣe, iṣẹ ominira.

Mastering Multi-Agent Imudara Ẹkọ

Ẹkọ Imudara Aṣoju Olona-Aṣoju (MARL) ṣe ikẹkọ ọpọlọpọ awọn aṣoju ikẹkọ ti o pin agbegbe kan, ọkọọkan ṣe adaṣe ihuwasi rẹ lakoko ti awọn miiran tun ṣe deede. O ṣe pataki nitori ọpọlọpọ awọn iṣoro gidi-aye - ijabọ, awọn ọja, awọn ẹgbẹ ti awọn roboti - kan ọpọlọpọ awọn oluṣe ipinnu, kii ṣe ọkan. Ẹkọ Imudara Aṣoju pupọ joko ni ohun elo irinṣẹ AI akọkọ. Nigbati o ba loye rẹ, awọn akọle AI miiran di rọrun lati ṣe iṣiro ati afiwe. Lati kọ oye ti o jinlẹ, ṣe itọju Ẹkọ Imudara Oluṣowo Olona-Aṣoju bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo Ẹkọ Imudara Aṣoju Olona kọ awọn awoṣe imọran ti o lagbara ni akọkọ, lẹhinna ya awọn awoṣe wọnyẹn si awọn idiwọ iṣelọpọ gidi. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita. Ni akoko kanna, Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.

O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.

O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.

Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ọjọ iwaju ti Ẹkọ Imudara Aṣoju pupọ

MARL n lọ si ọna ti o tobi, awọn ọna ṣiṣe ṣiṣi silẹ nibiti awọn aṣoju ti nwọle ati lọ kuro, ati si awọn ẹgbẹ ti awọn aṣoju LLM ti o ṣe idunadura, aṣoju, ati lo awọn irinṣẹ papọ. Reti ilọsiwaju lori iṣẹ iyansilẹ kirẹditi ti iwọn (ẹniti o yẹ ere ni ẹgbẹ nla kan), awọn ilana ibaraẹnisọrọ pajawiri, ati awọn iṣeduro aabo fun awọn aṣoju idije. Bii awọn ọkọ ayọkẹlẹ adase, awọn grids agbara, ati awọn eto iṣowo npọ si ibaraenisepo, isọdọkan aṣoju-pupọ - ati yago fun ifọkanbalẹ tabi awọn iṣiparọ awọn iṣiparọ esi - di iwulo aringbungbun ati ibakcdun ilana.

Real-World imuse

Ṣiṣakoṣo awọn ọkọ oju-omi kekere ti awọn roboti ile-ipamọ nitori wọn ṣe itọsọna awọn idii laisi ikọlu tabi titiipa ni awọn ọna

Iṣakoso-ifihan agbara ijabọ nibiti ikorita kọọkan jẹ aṣoju ti nkọ ẹkọ lati dinku idinku jakejado ilu

Ere ikẹkọ AI bii OpenAI marun (Dota 2) ati AlphaStar (StarCraft II) nipasẹ ere-ara ẹni laarin ọpọlọpọ awọn aṣoju

Ṣiṣakoṣo awọn idu ati idahun ibeere laarin awọn batiri ti a pin kaakiri ati awọn ile ni akoj ina mọnamọna ọlọgbọn

Awọn Ilana imuse

Ẹkọ Imudara Aṣoju pupọ ni iṣe

Ṣiṣakoṣo awọn ọkọ oju-omi kekere ti awọn roboti ile-ipamọ nitori wọn ṣe itọsọna awọn idii laisi ikọlu tabi titiipa ni awọn ọna.

Ṣiṣakoṣo awọn ọkọ oju-omi kekere ti awọn roboti ile-ipamọ ki wọn ṣe ipa ọna awọn idii laisi ikọlu tabi titiipa ni awọn ọna opopona Awọn ẹgbẹ nigbagbogbo gba awọn abajade ti o dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe ni akoko pupọ.

Ẹkọ Imudara Aṣoju pupọ ni iṣe

Iṣakoso-ifihan agbara ijabọ nibiti ikorita kọọkan jẹ aṣoju ti nkọ ẹkọ lati dinku idinku jakejado ilu.

Iṣakoso ifihan agbara-ijabọ nibiti ikorita kọọkan jẹ ẹkọ aṣoju lati dinku awọn ẹgbẹ ijade jakejado ilu nigbagbogbo ni awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Ẹkọ Imudara Aṣoju pupọ ni iṣe

Ere ikẹkọ AI bii OpenAI marun (Dota 2) ati AlphaStar (StarCraft II) nipasẹ ere-ara ẹni laarin ọpọlọpọ awọn aṣoju.

Ere ikẹkọ AI bii OpenAI marun (Dota 2) ati AlphaStar (StarCraft II) nipasẹ ere-ara-ẹni laarin ọpọlọpọ awọn aṣoju Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Ẹkọ Imudara Aṣoju pupọ ni iṣe

Ṣiṣakoṣo awọn idu ati idahun ibeere laarin awọn batiri ti a pin kaakiri ati awọn ile ni akoj ina mọnamọna ọlọgbọn.

Ṣiṣakoso awọn idu ati idahun ibeere laarin awọn batiri ti o pin kaakiri ati awọn ile ni akoj ina mọnamọna smati Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Awọn ewu & Awọn ọna iṣọ

!

Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.

!

Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.

!

Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.

Ilana Ilana imuse

1

Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.

Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.

Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.

Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Iwe-ipamọ nibiti Ẹkọ Imudara Aṣoju pupọ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.

Iwe-ipamọ nibiti Ẹkọ Imudara Aṣoju pupọ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari