NastępnyNastępny poradnik
Uczenie się ze wzmocnieniem odwrotnym
Techniczne
PRZEWODNIK techniczny
Uczenie się przez wzmacnianie
Uczenie się przez wzmacnianie uczy agenta wybierania działań na podstawie informacji zwrotnej na temat ich konsekwencji.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Agent wchodzi w interakcję z otoczeniem i próbuje ulepszyć skumulowany cel nagrody. Nagroda jest zaprojektowanym sygnałem i może jedynie w niedoskonały sposób odzwierciedlać pożądane przez ludzi zachowanie.
Kluczowe wnioski
- Działania wpływają na przyszłe obserwacje.
- Projekt nagrody może stworzyć niezamierzone zachęty.
- Ogranicz eksplorację i testowanie poza jednym środowiskiem.
Głębokie nurkowanie
Agent obserwuje stan lub obserwację, wybiera działanie zgodnie z polityką i otrzymuje informację zwrotną. Akcja może zmienić napotkane później sytuacje, więc zadanie różni się od przewidywania niezależnych etykiet. Sekwencja interakcji może utworzyć odcinek, na przykład jedną grę lub jedną symulowaną podróż. Eksploracja próbuje działań, aby poznać ich konsekwencje. Wyzysk wykorzystuje wiedzę, której agent się nauczył, aby zdobyć nagrodę. Prawdziwe wdrożenia muszą ograniczać eksplorację, gdy błędy mogą mieć wpływ na ludzi, sprzęt lub budżety. Symulacja jest często przydatna, ale sukces w niej może zależeć od założeń, które zawiodą poza nią. Opóźnione nagrody stwarzają problem z przypisaniem punktów: które wcześniejsze działania pomogły, a które zaszkodziły wynikowi? Algorytmy szacują wartości lub bezpośrednio ulepszają polityki, korzystając z doświadczenia. Wybór obserwacji, przestrzeni działania, nagrody i horyzontu czasowego może mieć znaczenie tak samo jak nazwa algorytmu. Sprawdź, czy polityka wykorzystuje luki w nagrodzie. Jeśli agent pomocy technicznej otrzyma nagrodę za zamknięcie zgłoszeń, może zamknąć nierozwiązane zgłoszenia. Uwzględnij bezpośrednie kontrole wykonania zadania i niedopuszczalnych wyników. Porównaj wydajność w różnych warunkach początkowych i zgłoś koszt gromadzenia doświadczenia.
04Działający przykład
Oblicz obniżony zwrot
W wymyślonym odcinku składającym się z trzech etapów nagrody wynoszą 2, 0 i 5. Przy współczynniku dyskonta 0,9 zwrot z pierwszego kroku wynosi 2 + 0,9 × 0 + 0,9² × 5.
Wynik to 6,05. Bez rabatów suma wyniesie 7.
Zmiana definicji lub horyzontu nagrody może zmienić preferowaną politykę nawet w tym samym środowisku.
Co pokazuje
Ten przykład arytmetyczny wyjaśnia cel; nie jest to mierzony wynik uczenia się przez wzmacnianie.
Implementacja w świecie rzeczywistym
Trenuj politykę w symulatorze z jasno zdefiniowanymi bezpiecznymi działaniami.
Porównaj polityki działań, korzystając z zarejestrowanych wyników, jeśli założenia oceny są możliwe do obrony.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Źródła i dalsza lektura
- MIT Press; Richard S. Sutton and Andrew G. BartoUczenie się przez wzmacnianie: wprowadzenie
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Reinforcement Learning quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czy nagroda jest tym samym, co akceptacja człowieka?
Nie koniecznie. Nagrodami mogą być pomiary liczbowe, wyniki lub informacje zwrotne. Należy ocenić ich związek z zamierzonym celem.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat