reinforcement learning an introduction

Reinforcement Learning: Eine Einführung

Python-Replikation für Sutton & Bartos Buch Reinforcement Learning: An Introduction (2. Auflage)

Wenn Sie Unklarheiten über den Code haben oder einen Fehler melden möchten, öffnen Sie bitte ein Problem, anstatt mir direkt eine E-Mail zu senden. Leider habe ich keine Übungsantworten für das Buch.

Inhalt

Kapitel 1

1. Tic-Tac-Toe

Kapitel 2

1. Abbildung 2.1: Ein beispielhaftes Banditenproblem aus dem 10-armigen Prüfstand
2. Abbildung 2.2: Durchschnittliche Leistung von Epsilon-Greed-Action-Value-Methoden auf dem 10-armigen Testbed
3. Abbildung 2.3: Optimistische anfängliche Schätzungen des Aktionswerts
4. Abbildung 2.4: Durchschnittliche Leistung der UCB-Aktionsauswahl auf dem 10-armigen Prüfstand
5. Abbildung 2.5: Durchschnittliche Leistung des Gradientenbandit-Algorithmus
6. Abbildung 2.6: Eine Parameterstudie der verschiedenen Bandit-Algorithmen

Kapitel 3

1. Abbildung 3.2: Rasterbeispiel mit Zufallsrichtlinie
2. Abbildung 3.5: Optimale Lösungen für das Gridworld-Beispiel

Kapitel 4

1. Abbildung 4.1: Konvergenz der iterativen Richtlinienbewertung auf einer kleinen Gitterwelt
2. Abbildung 4.2: Jacks Problem mit der Autovermietung
3. Abbildung 4.3: Die Lösung des Spielerproblems

Kapitel 5

1. Abbildung 5.1: Ungefähre Zustandswertfunktionen für die Blackjack-Richtlinie
2. Abbildung 5.2: Die von Monte Carlo ES gefundene optimale Richtlinien- und Zustandswertfunktion für Blackjack
3. Abbildung 5.3: Gewichtete Wichtigkeitsstichprobe
4. Abbildung 5.4: Gewöhnliche Wichtigkeitsstichprobe mit überraschend instabilen Schätzungen

Kapitel 6

1. Beispiel 6.2: Random Walk
2. Abbildung 6.2: Stapelaktualisierung
3. Abbildung 6.3: Sarsa angewendet auf die windige Gitterwelt
4. Abbildung 6.4: Die Klippenwanderaufgabe
5. Abbildung 6.6: Zwischen- und asymptotische Leistung von TD-Kontrollmethoden
6. Abbildung 6.7: Vergleich von Q-Learning und Double Q-Learning

Kapitel 7

1. Abbildung 7.2: Leistung von n-stufigen TD-Methoden beim Random Walk mit 19 Zuständen

Kapitel 8

1. Abbildung 8.2: Durchschnittliche Lernkurven für Dyna-Q-Agenten mit unterschiedlicher Anzahl an Planungsschritten
2. Abbildung 8.4: Durchschnittliche Leistung von Dyna-Agenten bei einer Blockierungsaufgabe
3. Abbildung 8.5: Durchschnittliche Leistung von Dyna-Agenten bei einer Verknüpfungsaufgabe
4. Beispiel 8.4: Priorisiertes Kehren verkürzt die Lernzeit für die Dyna-Labyrinth-Aufgabe erheblich
5. Abbildung 8.7: Vergleich der Effizienz von erwarteten und Beispielaktualisierungen
6. Abbildung 8.8: Relative Effizienz verschiedener Update-Distributionen

Kapitel 9

1. Abbildung 9.1: Gradienten-Monte-Carlo-Algorithmus für die 1000-Zustands-Random-Walk-Aufgabe
2. Abbildung 9.2: Halbgradienter n-Schritte-TD-Algorithmus für die 1000-Zustands-Random-Walk-Aufgabe
3. Abbildung 9.5: Fourier-Basis vs. Polynome bei der 1000-Zustände-Random-Walk-Aufgabe
4. Abbildung 9.8: Beispiel für die Auswirkung der Merkmalsbreite auf die anfängliche Generalisierung und die asymptotische Genauigkeit
5. Abbildung 9.10: Einzelne Kacheln und mehrere Kacheln bei der 1000-Zustände-Random-Walk-Aufgabe

Kapitel 10

1. Abbildung 10.1: Die Cost-to-go-Funktion für die Mountain-Car-Aufgabe in einem Durchgang
2. Abbildung 10.2: Lernkurven für die Halbgradienten-Aufgabe „Sarsa on Mountain Car“.
3. Abbildung 10.3: Einstufige vs. mehrstufige Leistung von Semigradient Sarsa bei der Mountain Car-Aufgabe
4. Abbildung 10.4: Auswirkung von Alpha und n auf die frühe Leistung von n-stufigem Halbgradienten-Sarsa
5. Abbildung 10.5: Differential-Semigradient-Sarsa bei der Warteschlangenaufgabe der Zugangskontrolle

Kapitel 11

1. Abbildung 11.2: Bairds Gegenbeispiel
2. Abbildung 11.6: Das Verhalten des TDC-Algorithmus auf Bairds Gegenbeispiel
3. Abbildung 11.7: Das Verhalten des ETD-Algorithmus im Erwartungswert auf Bairds Gegenbeispiel

Kapitel 12

1. Abbildung 12.3: Offline-λ-Return-Algorithmus beim 19-Zustands-Random Walk
2. Abbildung 12.6: TD(λ)-Algorithmus beim 19-Zustands-Random Walk
3. Abbildung 12.8: Echter Online-TD(λ)-Algorithmus bei der 19-Zustands-Zufallswanderung
4. Abbildung 12.10: Sarsa(λ) mit Ersatzspuren auf Mountain Car
5. Abbildung 12.11: Zusammenfassender Vergleich der Sarsa(λ)-Algorithmen auf Mountain Car

Kapitel 13

1. Beispiel 13.1: Kurzer Korridor mit geschalteten Aktionen
2. Abbildung 13.1: VERSTÄRKUNG in der Welt des Kurzkorridor-Gitters
3. Abbildung 13.2: VERSTÄRKEN mit Basislinie auf der Kurzkorridor-Gitterwelt

Umfeld

• Python 3.6
• Numpy
• matplotlib
• seegeboren
• tqdm

Verwendung

Alle Dateien sind in sich geschlossen

 python any_file_you_want.py

Beitrag

Wenn Sie fehlende Beispiele beisteuern oder Fehler beheben möchten, können Sie gerne ein Issue eröffnen oder eine Pull-Anfrage stellen.