NastępnyNastępny poradnik
Planowanie szybkości uczenia się
Techniczne
PRZEWODNIK techniczny
Q-Learning
Q-Learning to algorytm uczenia się przez wzmacnianie, który uczy agenta, jakie działania przynoszą największe korzyści, poprzez stopniowe uczenie się wartości każdego ruchu metodą prób i błędów.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Ma to znaczenie, ponieważ może znaleźć optymalne zachowanie, nie będąc nigdy informowanym o zasadach panujących w jego otoczeniu.
Głębokie nurkowanie
Q-Learning uczy się funkcji zwanej Q(s, a): oczekiwanej długoterminowej nagrody za podjęcie działania „a” w stanie „s”, a następnie optymalne działanie. Agent zaczyna nic nie wiedzieć, próbuje działać i obserwuje nagrody. Po każdym kroku przesuwa swoją szacunkową wartość Q w kierunku właśnie otrzymanej nagrody powiększonej o najlepszą zdyskontowaną przyszłą wartość, jakiej oczekuje od następnego stanu. Co najważniejsze, jest „poza polityką” i „wolna od modeli”: może nauczyć się najlepszej polityki podczas losowej eksploracji i nigdy nie potrzebuje modelu przemian świata. Biorąc pod uwagę wystarczającą eksplorację każdej pary stan-akcja, wartości Q z pewnością zbiegają się do wartości optymalnych, a najlepszą akcją w dowolnym stanie jest po prostu ta z najwyższym Q.
Implementacja w świecie rzeczywistym
Agenci gier Atari (DQN firmy DeepMind) uczą się grać w Breakout i Pong bezpośrednio z pikseli ekranu
Optymalizacja czasu sygnalizacji świetlnej na skrzyżowaniach w celu zminimalizowania całkowitego czasu oczekiwania pojazdu
Nawigacja robota po siatce lub labiryncie, gdzie robot uczy się najkrótszej ścieżki maksymalizującej nagrodę
Dynamiczne decyzje dotyczące cen i zapasów, dzięki którym agent dowiaduje się, które działania maksymalizują długoterminowy zysk
Przyszłość Q-Learningu
Klasyczny tabelaryczny Q-Learning ma problemy, gdy stanów jest zbyt wiele, aby przechowywać je w tabeli. Dominującym kierunkiem jest łączenie go z sieciami neuronowymi, jak w Deep Q-Networks (DQN), które aproksymują wartości Q z surowych danych wejściowych, takich jak piksele. Trwają badania nad stabilizacją tego zjawiska za pomocą powtarzania doświadczeń, sieci docelowych i wariantów, takich jak Double DQN i dystrybucyjne Q-Learning, które redukują błąd związany z przeszacowaniem i reprezentują rozkłady pełnego zwrotu, a nie pojedyncze średnie.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Q-Learning quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest Q-Learning?
Q-Learning to algorytm uczenia się przez wzmacnianie, który uczy agenta, jakie działania przynoszą największe korzyści, poprzez stopniowe uczenie się wartości każdego ruchu metodą prób i błędów. Ma to znaczenie, ponieważ może znaleźć optymalne zachowanie, nie będąc nigdy informowanym o zasadach panujących w jego otoczeniu.
Co oznacza wartość Q Q(s, a)?
Q(s, a) szacuje całkowitą zdyskontowaną przyszłą nagrodę wynikającą z podjęcia działania a w stanie s i optymalnego zachowania później, a nie tylko natychmiastową nagrodę.
Dlaczego Q-Learning jest określane jako „niezgodne z zasadami”?
Maksymalna wartość w kolejnych akcjach oznacza, że Q-Learning uczy się wartości zachłannej optymalnej polityki, nawet gdy agent eksploruje przy użyciu innej polityki zachowania.
Co w regule aktualizacji kontroluje współczynnik gamma rabatu?
Gamma (od 0 do 1) dyskontuje przyszłe nagrody; wartości bliskie 1 powodują, że agent jest dalekowzroczny, wartości bliskie 0 powodują, że jest on krótkowzroczny.
Jaki jest błąd różnicy czasowej (TD) w Q-Learning?
Błąd TD to różnica pomiędzy nowym oszacowaniem docelowym (nagroda plus najlepsza zdyskontowana przyszła wartość) a starym oszacowaniem Q; aktualizacja zmniejsza tę lukę.
Dlaczego zwykłe tabelaryczne Q-Learning zmaga się z dużymi problemami, takimi jak gry wideo z pikseli?
Tabela przeglądowa wymaga wpisu dla każdej pary stan-akcja, co jest niewykonalne, gdy liczba stanów liczy się w miliardach, co motywuje aproksymatory sieci neuronowych, takie jak DQN.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat