applied reinforcement learning

Aprendizagem por Reforço Aplicado

Venho estudando aprendizagem por reforço e tomada de decisão há alguns anos. Uma das coisas mais difíceis que encontrei não está necessariamente relacionada aos conceitos, mas à forma como esses conceitos foram explicados. Para mim, o aprendizado ocorre quando se consegue fazer uma conexão com os conceitos que estão sendo ensinados. Para isso, muitas vezes é necessária uma explicação intuitiva e, provavelmente, uma abordagem prática ajuda a construir esse tipo de compreensão.

Meu objetivo com este repositório é criar, com a comunidade, um recurso que ajude os recém-chegados a compreender a aprendizagem por reforço de forma intuitiva. Considere o que você vê aqui, minha tentativa inicial de ensinar alguns desses conceitos da maneira mais clara e simples possível para explicá-los.

Se você quiser colaborar, seja um erro de digitação ou um acréscimo completo ao texto, talvez uma correção em um caderno ou um caderno totalmente novo, sinta-se à vontade para enviar seu problema e/ou pull request para melhorar as coisas. Contanto que sua solicitação pull esteja alinhada com o objetivo do repositório, é muito provável que ocorra uma fusão. Não sou o melhor professor ou pesquisador de aprendizagem por reforço, mas acredito que podemos tornar a aprendizagem por reforço e a tomada de decisões fáceis de entender para qualquer pessoa. Bem, pelo menos mais fácil.

Índice

• Instalação de Notebooks
  • Instale o git
  • Instale o Docker
  • Executar cadernos
    • Versão TL;DR
    • Versão um pouco mais detalhada:
      • Abra os Cadernos no seu navegador:
      • Abra o TensorBoard no seguinte endereço:
  • Dicas do Docker
• Parte I: Introdução
  • 1. Introdução à Tomada de Decisão
    • 1.1 Tomada de decisão
    • 1.2 Leitura Adicional
• Parte II: Aprendizagem por Reforço e Tomada de Decisão
  • 2. Decisões Sequenciais
    • 2.1 Modelagem de Problemas de Tomada de Decisão
    • 2.2 Representação de Soluções
    • 2.3 Problema Sequencial Simples
    • 2.4 Problemas um pouco mais complexos
    • 2.5 Avaliando soluções
    • 2.6 Melhorando as soluções
    • 2.7 Encontrando soluções ideais
    • 2.8 Melhorando a iteração de políticas
    • 2.9 Exercícios
    • 2.10 Leitura Adicional
  • 3. Ações Determinísticas e Estocásticas
    • 3.1 Não podemos controlar perfeitamente o mundo
    • 3.2 Lidando com estocasticidade
    • 3.3 Exercícios
    • 3.4 Leitura Adicional
  • 4. Ambientes Conhecidos e Desconhecidos
    • 4.1 E se não tivermos um modelo ambiental?
    • 4.2 A necessidade de explorar
    • 4.3 O que aprender?
    • 4.4 O que fazer com o que aprendemos?
    • 4.5 Adicionando pequena aleatoriedade às suas ações
    • 4.6 Exercícios
    • 4.7 Leitura Adicional
• Parte III: Tomada de decisões em problemas difíceis
  • 5. Estados Discretos e Contínuos
    • 5.1 Muito grande para guardar na memória
    • 5.2 Discretização do espaço de estados
    • 5.3 Uso de aproximação de função
    • 5.4 Exercícios
    • 5.5 Leitura Adicional
  • 6. Ações Discretas e Contínuas
    • 6.1 Espaço de ação contínua
    • 6.2 Discretização do espaço de ação
    • 6.3 Uso de aproximação de função
    • 6.4 Procurando a política
    • 6.5 Exercícios
    • 6.6 Leitura Adicional
  • 7. Estados observáveis ​​e parcialmente observáveis
    • 7.1 O que vemos é o que é?
    • 7.2 Estimativa de Estado
    • 7.3 Controle em Ambientes Parcialmente Observáveis
    • 7.4 Leitura Adicional
• Parte IV: Múltiplos Agentes Tomadores de Decisão
  • 8. Agentes únicos e múltiplos
    • 8.1 Agentes com os mesmos objetivos
    • 8.2 E quando outros agentes estão em jogo?
    • 8.3 Leitura Adicional
  • 9. Agentes Cooperativos e Adversários
    • 9.1 Agentes com objetivos conflitantes
    • 9.2 Equipes de agentes com objetivos conflitantes
    • 9.3 Leitura Adicional
• Parte V: Tomada de Decisões Humanas e Além
  • 10. Tomada de decisão e humanos
    • 10.1 Semelhanças entre os métodos discutidos e os humanos
    • 10.2 Diferenças entre os métodos discutidos e os humanos
    • 10.3 Leitura Adicional
  • 11. Conclusão
  • 12. Livros recomendados
  • 12. Cursos Recomendados

Instalação de Notebooks

Este repositório contém Jupyter Notebooks para acompanhar as palestras. No entanto, existem vários pacotes e aplicativos que precisam ser instalados. Para facilitar as coisas para você, demorei um pouco mais para configurar um ambiente reproduzível que você possa usar para acompanhar.

Instale o git

Siga as instruções em (https://git-scm.com/book/en/v2/Getting-Started-Installing-Git)

Instale o Docker

Siga as instruções em (https://docs.docker.com/engine/getstarted/step_one/#step-2-install-docker)

Execute cadernos

Versão TL;DR

1. git clone [email protected]:mimoralea/applied-reinforcement-learning.git && cd applied-reinforcement-learning
2. docker pull mimoralea/openai-gym:v1
3. docker run -it --rm -p 8888:8888 -p 6006:6006 -v $PWD/notebooks/:/mnt/notebooks/ mimoralea/openai-gym:v1

Versão um pouco mais detalhada:

1. Clone o repositório em um local desejado (por exemplo, git clone [email protected]:mimoralea/applied-reinforcement-learning.git ~/Projects/applied-reinforcement-learning )
2. Entre no diretório do repositório (por exemplo, cd ~/Projects/applied-reinforcement-learning )
3. Crie você mesmo ou extraia o contêiner Docker já construído:
   3.1. Para construí-lo use o seguinte comando: docker build -t mimoralea/openai-gym:v1 .
   3.2. Para extraí-lo do Docker hub, use: docker pull mimoralea/openai-gym:v1
4. Execute o contêiner: docker run -it --rm -p 8888:8888 -p 6006:6006 -v $PWD/notebooks/:/mnt/notebooks/ mimoralea/openai-gym:v1

Abra os Cadernos no seu navegador:

• http://localhost:8888 (ou siga o link que saiu do comando de execução sobre o qual incluirá o token)

Abra o TensorBoard no seguinte endereço:

• http://localhost:6006

Isso o ajudará a visualizar a Rede Neural nas aulas com aproximação de função.

Dicas do Docker

• Se você quiser acessar uma sessão bash de um contêiner em execução, faça:
  ** docker ps # mostrará os contêineres em execução no momento - observe o ID do contêiner que você está tentando acessar
  ** docker exec --user root -it c3fbc82f1b49 /bin/bash # neste caso c3fbc82f1b49 é o id
• Se você quiser iniciar uma nova instância de contêiner diretamente no bash (sem executar Jupyter ou TensorBoard)
  ** docker run -it --rm mimoralea/openai-gym:v1 /bin/bash # isso executará a sessão bash como o usuário do Notebook
  ** docker run --user root -e GRANT_SUDO=yes -it --rm mimoralea/openai-gym:v1 /bin/bash # isso executará a sessão bash como root