DTU HPC Scripts

Scripts DTU-HPC

Este repositório coleta scripts úteis para execução de código nos clusters de computação de alto desempenho da Universidade Técnica da Dinamarca (DTU). Como os módulos disponíveis dependem do nó de login, devo adicionar o aviso de isenção de responsabilidade que eu pessoalmente usei e testei apenas no segundo nó de login: login2.hpc.dtu.dk. No momento em que este artigo foi escrito, o sistema padrão Python (versão 2.7.5) foi usado.

Configurando seu ambiente Python com Tensorflow e Keras

Primeiro, conecte-se aos servidores DTU HPC usando ssh. Conforme declarado, recomendo o segundo nó de login. Após fazer login, navegue até o diretório do projeto desejado e execute o seguinte para configurar seu ambiente Python, incluindo Tensorflow e Keras com base na instalação CUDA 9.0. Depois de sair, você pode, por exemplo, fazer login em um nó GPU interativo para executar seu código.

 linuxsh
wget https://github.com/Algebrazebra/DTU-HPC-Scripts/raw/master/setup.sh
sh setup.sh
rm -f setup.sh
exit

Enviando para a fila de trabalhos

Os trabalhos são enviados usando um script de shell de envio via

 bsub < submit.sh

O script shell contém as instruções para o manipulador de carga, bem como os comandos necessários para executar seu código. Um exemplo de script de trabalho é fornecido com o arquivo submit.sh neste repositório. Basta alterar o arquivo de acordo com suas necessidades e gosto. Para obter mais informações sobre o script de trabalho, consulte a documentação oficial fornecida aqui: Trabalhos em lote.

Após o envio bem-sucedido, você pode verificar o status dos seus envios atuais com

 bstat