Przegląd
Uczenie się przez wieloagentowe wzmacnianie (MARL) szkoli kilku agentów uczących się, którzy korzystają ze wspólnego środowiska, a każdy z nich dostosowuje swoje zachowanie, podczas gdy inni też się dostosowują. Ma to znaczenie, ponieważ większość problemów w świecie rzeczywistym – ruch uliczny, rynki, zespoły robotów – angażuje wielu decydentów, a nie jednego.
Uczenie się przez wieloagentowe wzmocnienie znajduje się w podstawowym zestawie narzędzi AI. Kiedy to zrozumiesz, inne tematy związane ze sztuczną inteligencją staną się łatwiejsze do oceny i porównania.
Głębokie nurkowanie
W uczeniu się przez wzmacnianie z udziałem jednego agenta jeden agent uczy się polityki poprzez maksymalizację nagrody w ustalonym środowisku. MARL dodaje więcej agentów, a to wszystko zmienia: z punktu widzenia każdego agenta środowisko jest niestacjonarne, ponieważ pozostali zmieniają swoje zasady. Agenci mogą współpracować (dzielić się nagrodą zespołową, jak roboty grające w piłkę nożną), rywalizować (o sumie zerowej, jak poker lub unikanie pościgu) lub mieszani. Badacze posługują się formalizmami, takimi jak gry Markowa (gry stochastyczne), które uogólniają proces decyzyjny Markowa z jednym agentem. Do słynnych wyników należą: AlphaStar firmy DeepMind, która osiągnęła arcymistrza w StarCraft II oraz OpenAI Pięć pokonanych profesjonalnych drużyn Dota 2, obie opierające się na populacjach agentów szkolonych przeciwko sobie w grze samodzielnej.
Wgląd techniczny
Podstawowym wyzwaniem jest niestacjonarność: gdy każdy agent aktualizuje swoją politykę, pozostali stają w obliczu ruchomego celu, więc naiwne, niezależne uczenie się może nie być zbieżne. Popularną poprawką jest scentralizowane szkolenie ze zdecentralizowanym wykonaniem (CTDE), używane przez algorytmy takie jak MADDPG i QMIX. Podczas szkolenia krytyk widzi obserwacje i działania wszystkich agentów, aby obliczyć stabilne gradienty, ale podczas wdrażania każdy agent działa, korzystając wyłącznie z własnych lokalnych obserwacji, łącząc skoordynowane uczenie się z praktycznym, niezależnym działaniem.
Opanowanie uczenia się ze wzmocnieniem wieloagentowym
Uczenie się przez wieloagentowe wzmacnianie (MARL) szkoli kilku agentów uczących się, którzy korzystają ze wspólnego środowiska, a każdy z nich dostosowuje swoje zachowanie, podczas gdy inni też się dostosowują. Ma to znaczenie, ponieważ większość problemów w świecie rzeczywistym – ruch uliczny, rynki, zespoły robotów – angażuje wielu decydentów, a nie jednego. Uczenie się przez wieloagentowe wzmocnienie znajduje się w podstawowym zestawie narzędzi AI. Kiedy to zrozumiesz, inne tematy związane ze sztuczną inteligencją staną się łatwiejsze do oceny i porównania. Aby zbudować głębokie zrozumienie, traktuj wieloagentowe uczenie się ze wzmocnieniem jako model operacyjny, a nie pojedynczą funkcję: zdefiniuj pożądane wyniki, wyjaśnij założenia i oddziel to, co system może niezawodnie zrobić, od tego, co wciąż wymaga fachowej oceny.
W praktyce silne zespoły korzystające z uczenia wieloagentowego ze wzmocnieniem najpierw budują silne modele koncepcyjne, a następnie mapują te modele na rzeczywiste ograniczenia produkcyjne. Dokumentują wyraźne kryteria sukcesu, testują realistyczne dane i przepływy pracy oraz wykonują iteracje w oparciu o zaobserwowane wzorce niepowodzeń, a nie jednorazowe zwycięstwa w testach porównawczych. W tym miejscu teoretyczne zrozumienie zamienia się w trwałe możliwości w zakresie produktu, polityki i operacji.
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego. Jednocześnie różne zespoły mogą używać tego samego terminu w różny sposób, dlatego należy wcześniej zdefiniować zakres. Najbardziej odporne podejście polega na połączeniu szybkości eksperymentowania z dyscypliną zarządzania: przeprowadzanie programów pilotażowych, gromadzenie dowodów, publikowanie dzienników decyzji i ciągłe aktualizowanie zabezpieczeń w miarę ewolucji zachowań modelu, oczekiwań użytkowników i wymagań prawnych.
Wpływ strategiczny
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Implementacja w świecie rzeczywistym
Koordynowanie flot robotów magazynowych, aby kierować paczki bez kolizji lub zakleszczenia w korytarzach
Sterowanie sygnalizacją świetlną, gdzie każde skrzyżowanie jest agentem uczącym się zmniejszania zatorów w całym mieście
Gra szkoleniowa AI, taka jak OpenAI Five (Dota 2) i AlphaStar (StarCraft II), poprzez samodzielną grę wśród wielu agentów
Zarządzanie ofertami i odpowiedzią na zapotrzebowanie wśród rozproszonych baterii i domów w inteligentnej sieci energetycznej
Wzorce implementacyjne
Wieloagentowe uczenie się przez wzmacnianie w praktyce
Koordynowanie flot robotów magazynowych, aby kierować paczki bez kolizji i zakleszczeń w korytarzach.
Koordynowanie flot robotów magazynowych tak, aby kierowały paczki bez kolizji lub zakleszczenia w korytarzach. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Wieloagentowe uczenie się przez wzmacnianie w praktyce
Sterowanie sygnalizacją świetlną, gdzie każde skrzyżowanie jest agentem uczącym się zmniejszania zatorów w całym mieście.
Kontrola sygnalizacji świetlnej, gdzie każde skrzyżowanie jest agentem uczącym się, jak zmniejszać zatory w całym mieście. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych oraz śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Wieloagentowe uczenie się przez wzmacnianie w praktyce
Gra szkoleniowa AI, taka jak OpenAI Five (Dota 2) i AlphaStar (StarCraft II), poprzez samodzielną grę wśród wielu agentów.
Gry szkoleniowe AI, takie jak OpenAI Five (Dota 2) i AlphaStar (StarCraft II), poprzez samodzielną grę wśród wielu agentów. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Wieloagentowe uczenie się przez wzmacnianie w praktyce
Zarządzanie ofertami i odpowiedzią na zapotrzebowanie wśród rozproszonych baterii i domów w inteligentnej sieci energetycznej.
Zarządzanie ofertami i odpowiedzią na zapotrzebowanie wśród rozproszonych baterii i domów w inteligentnej sieci energetycznej Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Zacznij od jasnej definicji potrzebnego wyniku. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Dokument, w którym pomaga wieloagentowe uczenie się ze wzmocnieniem i gdzie lepsze są prostsze metody.
Dokument, w którym pomaga wieloagentowe uczenie się ze wzmocnieniem i gdzie lepsze są prostsze metody. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.