Als nächstesNächster Leitfaden
Lernratenplanung
Technisch
Technischer Leitfaden
Q-Learning
Q-Learning ist ein verstärkender Lernalgorithmus, der einem Agenten beibringt, welche Aktionen sich am besten auszahlen, indem er nach und nach durch Versuch und Irrtum den Wert jeder Bewegung lernt.
Auf dieser Seite2 Minuten gelesen
Übersicht
Es ist wichtig, weil es optimales Verhalten finden kann, ohne jemals die Regeln seiner Umgebung zu erfahren.
Tiefer Einblick
Q-Learning lernt eine Funktion namens Q(s, a): die erwartete langfristige Belohnung für die Aktion „a“ im Zustand „s“ und das anschließende optimale Handeln. Der Agent fängt an, nichts zu wissen, probiert Aktionen aus und beobachtet Belohnungen. Nach jedem Schritt verschiebt es seine Q-Wert-Schätzung in Richtung der gerade erhaltenen Belohnung plus dem besten abgezinsten zukünftigen Wert, den es vom nächsten Zustand erwartet. Entscheidend ist, dass es „off-policy“ und „model-free“ ist: Es kann die beste Politik lernen, indem es nach dem Zufallsprinzip experimentiert, und es braucht nie ein Modell dafür, wie sich die Welt verändert. Bei ausreichender Untersuchung jedes Zustands-Aktionspaares konvergieren die Q-Werte nachweislich zu den optimalen Werten, und die beste Aktion in jedem Zustand ist einfach die mit dem höchsten Q.
Strategische Auswirkungen
Kosten und Budget
Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
Klarere Entscheidungen
Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
Qualitätskontrolle
Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.
Die Zukunft des Q-Learning
Das klassische tabellarische Q-Learning hat Probleme, wenn es zu viele Zustände gibt, die in einer Tabelle gespeichert werden können. Die vorherrschende Richtung ist die Kombination mit neuronalen Netzen, wie in Deep Q-Networks (DQN), die Q-Werte aus Roheingaben wie Pixeln annähern. Die Forschung geht weiter daran, dies durch Erfahrungswiederholung, Zielnetzwerke und Varianten wie Double DQN und verteiltes Q-Learning zu stabilisieren, die Überschätzungsverzerrungen reduzieren und vollständige Renditeverteilungen statt einzelner Durchschnittswerte darstellen.
Reale Umsetzung
Atari-Spieleagenten (DeepMinds DQN) lernen, Breakout und Pong direkt aus Bildschirmpixeln zu spielen
Optimierung des Ampel-Timings an Kreuzungen, um die Gesamtwartezeit der Fahrzeuge zu minimieren
Roboternavigation durch ein Gitter oder Labyrinth, wobei der Roboter den kürzesten belohnungsmaximierenden Weg lernt
Dynamische Preis- und Bestandsentscheidungen, bei denen ein Agent lernt, welche Maßnahmen den langfristigen Gewinn maximieren
Risiken und Leitplanken
Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
Infrastruktur- und Wartungskosten werden oft unterschätzt.
Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.
Implementierungs-Roadmap
Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
Benchmark unter realistischen Last- und Datenbedingungen.
Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Q-Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Häufig gestellte Fragen
Was ist Q-Learning?
Q-Learning ist ein verstärkender Lernalgorithmus, der einem Agenten beibringt, welche Aktionen sich am besten auszahlen, indem er nach und nach durch Versuch und Irrtum den Wert jeder Bewegung lernt. Es ist wichtig, weil es optimales Verhalten finden kann, ohne jemals die Regeln seiner Umgebung zu erfahren.
Was stellt der Q-Wert Q(s, a) dar?
Q(s, a) schätzt die gesamte diskontierte zukünftige Belohnung, wenn man im Zustand s Maßnahmen a ergreift und sich danach optimal verhält, und nicht nur die unmittelbare Belohnung.
Warum wird Q-Learning als „off-policy“ beschrieben?
Das Maximum über die nächsten Aktionen bedeutet, dass Q-Learning den Wert der gierigen optimalen Richtlinie lernt, selbst wenn der Agent mit einer anderen Verhaltensrichtlinie experimentiert.
Was steuert der Abzinsungsfaktor Gamma in der Aktualisierungsregel?
Gamma (zwischen 0 und 1) reduziert zukünftige Belohnungen; Werte nahe 1 machen den Agenten weitsichtig, Werte nahe 0 machen ihn kurzsichtig.
Was ist der zeitliche Differenzfehler (TD) beim Q-Learning?
Der TD-Fehler ist die Lücke zwischen der neuen Zielschätzung (Belohnung plus bester diskontierter zukünftiger Wert) und der alten Q-Schätzung; Das Update verkleinert diese Lücke.
Warum hat einfaches tabellarisches Q-Learning Probleme mit großen Problemen wie Videospielen aus Pixeln?
Eine Nachschlagetabelle benötigt einen Eintrag pro Zustands-Aktionspaar, was bei Milliarden von Zuständen nicht möglich ist, was Approximatoren für neuronale Netze wie DQN motiviert.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt