applied reinforcement learning

應用強化學習

我研究強化學習和決策已經有幾年了。我遇到的最困難的事情之一不一定與概念有關，而是與如何解釋這些概念有關。對我來說，當一個人能夠與所教的概念建立連結時，學習就發生了。為此，通常需要直觀的解釋，並且實踐方法可能有助於建立這種理解。

我創建這個儲存庫的目標是與社群一起創建一個資源，幫助新手以直覺的方式理解強化學習。考慮一下您在這裡看到的內容，我最初嘗試盡可能簡單明了地教授其中一些概念。

如果您願意合作，無論是拼寫錯誤還是對文字的全部添加，也許是對筆記本或全新筆記本的修復，請隨時發送您的問題和/或拉取請求以使事情變得更好。只要您的拉取請求與儲存庫的目標一致，我們很可能會合併。我不是最好的老師，也不是強化學習研究者，但我相信我們可以讓強化學習和決策變得容易為任何人所理解。好吧，至少更容易。

目錄

• 筆記本安裝
  • 安裝git
  • 安裝 Docker
  • 運行筆記本
    • TL;DR 版本
    • 更詳細一點的版本：
      • 在瀏覽器中開啟筆記本：
      • 打開TensorBoard，地址如下：
  • Docker 技巧
• 第一部分：簡介
  • 1. 決策簡介
    • 1.1 決策
    • 1.2 進一步閱讀
• 第二部分：強化學習與決策
  • 2. 順序決策
    • 2.1 決策問題建模
    • 2.2 解表示
    • 2.3 簡單序列問題
    • 2.4 稍微複雜一點的問題
    • 2.5 評估解決方案
    • 2.6 解決方案的改進
    • 2.7 尋找最優解
    • 2.8 策略迭代的改進
    • 2.9 練習
    • 2.10 進一步閱讀
  • 3. 確定性和隨機性行為
    • 3.1 我們無法完美控制世界
    • 3.2 處理隨機性
    • 3.3 練習
    • 3.4 進一步閱讀
  • 4.已知與未知環境
    • 4.1 如果我們沒有環境模型怎麼辦？
    • 4.2 探索的必要性
    • 4.3 學習什麼？
    • 4.4 我們如何利用所學到的知識？
    • 4.5 為你的行為加上小的隨機性
    • 4.6 練習
    • 4.7 進一步閱讀
• 第三部分：難題中的決策
  • 5. 離散和連續狀態
    • 5.1 太大而無法儲存在記憶體中
    • 5.2 狀態空間的離散化
    • 5.3 函數逼近的使用
    • 5.4 練習
    • 5.5 進一步閱讀
  • 6. 離散和連續動作
    • 6.1 連續動作空間
    • 6.2 動作空間的離散化
    • 6.3 函數逼近的使用
    • 6.4 策略搜索
    • 6.5 練習
    • 6.6 進一步閱讀
  • 7. 可觀察和部分可觀察狀態
    • 7.1 我們所看到的就是它的本質嗎？
    • 7.2 狀態估計
    • 7.3 部分可觀測環境中的控制
    • 7.4 進一步閱讀
• 第四部分：多個決策代理
  • 8. 單一和多個代理
    • 8.1 具有相同目標的代理
    • 8.2 當其他智能體在玩時怎麼辦？
    • 8.3 進一步閱讀
  • 9. 合作和對抗代理
    • 9.1 目標相互衝突的主體
    • 9.2 目標相互衝突的代理人團隊
    • 9.3 進一步閱讀
• 第五部分：人類決策及其他決策
  • 10.決策與人類
    • 10.1 所討論的方法與人類的相似之處
    • 10.2 所討論的方法與人類之間的差異
    • 10.3 進一步閱讀
  • 11. 結論
  • 12. 推薦書籍
  • 12. 推薦課程

筆記本安裝

此儲存庫包含可與講座一起使用的 Jupyter Notebooks。但是，有幾個軟體包和應用程式需要安裝。為了讓您更輕鬆，我花了更長的時間來設定一個可重現的環境，您可以使用它來進行後續操作。

安裝git

請依照 (https://git-scm.com/book/en/v2/Getting-Started-Installing-Git) 中的說明進行操作

安裝 Docker

請依照 (https://docs.docker.com/engine/getstarted/step_one/#step-2-install-docker) 中的說明進行操作

運行筆記本

TL;DR 版本

1. git clone [email protected]:mimoralea/applied-reinforcement-learning.git && cd applied-reinforcement-learning
2. docker pull mimoralea/openai-gym:v1
3. docker run -it --rm -p 8888:8888 -p 6006:6006 -v $PWD/notebooks/:/mnt/notebooks/ mimoralea/openai-gym:v1

更詳細一點的版本：

1. 將儲存庫複製到所需位置（例如git clone [email protected]:mimoralea/applied-reinforcement-learning.git ~/Projects/applied-reinforcement-learning ）
2. 進入儲存庫目錄（例如cd ~/Projects/applied-reinforcement-learning ）
3. 自行建置或拉取已建置的 Docker 容器：
   3.1.要建置它，請使用以下命令： docker build -t mimoralea/openai-gym:v1 .
   3.2.要從 Docker hub 中拉取它，請使用： docker pull mimoralea/openai-gym:v1
4. 運行容器： docker run -it --rm -p 8888:8888 -p 6006:6006 -v $PWD/notebooks/:/mnt/notebooks/ mimoralea/openai-gym:v1

在瀏覽器中開啟筆記本：

• http://localhost:8888 （或點擊運行命令中出現的鏈接，其中將包含令牌）

打開TensorBoard，地址如下：

• http://localhost:6006

這將幫助您在課程中透過函數逼近可視化神經網路。

Docker 技巧

• 如果您想要存取正在執行的容器的 bash 會話，請執行以下操作：
  ** docker ps # 將顯示目前正在執行的容器－記下您嘗試存取的容器的 ID
  ** docker exec --user root -it c3fbc82f1b49 /bin/bash # 在本例中 c3fbc82f1b49 是 id
• 如果您想要直接在 bash 中啟動新的容器執行個體（不執行 Jupyter 或 TensorBoard）
  ** docker run -it --rm mimoralea/openai-gym:v1 /bin/bash # 這將以筆記本使用者身分執行 bash 會話
  ** docker run --user root -e GRANT_SUDO=yes -it --rm mimoralea/openai-gym:v1 /bin/bash # 這將以 root 身分執行 bash 會話