DTU HPC Scripts

DTU-HPC-скрипты

В этом репозитории собраны полезные скрипты для выполнения кода на кластерах высокопроизводительных вычислений Датского технического университета (DTU). Поскольку доступные модули зависят от узла входа в систему, я должен добавить заявление об отказе от ответственности, что я лично использовал и тестировал их только на втором узле входа: login2.hpc.dtu.dk. На момент написания использовалась система Python по умолчанию (версия 2.7.5).

Настройка среды Python с помощью Tensorflow и Keras

Сначала подключитесь к серверам DTU HPC, используя ssh. Как уже говорилось, я рекомендую второй узел входа. После входа в систему перейдите в нужный каталог проекта и выполните следующие действия, чтобы настроить среду Python, включая Tensorflow и Keras, на основе установки CUDA 9.0. После выхода вы можете, например, войти в интерактивный узел графического процессора, чтобы запустить свой код.

 linuxsh
wget https://github.com/Algebrazebra/DTU-HPC-Scripts/raw/master/setup.sh
sh setup.sh
rm -f setup.sh
exit

Отправка в очередь заданий

Задания отправляются с использованием сценария оболочки отправки через

 bsub < submit.sh

Сценарий оболочки содержит инструкции для обработчика загрузки, а также необходимые команды для выполнения вашего кода. Пример сценария задания предоставляется вместе с файлом submit.sh в этом репозитории. Просто измените файл по своему вкусу и потребностям. Для получения дополнительной информации о сценарии задания обратитесь к официальной документации, расположенной здесь: Пакетные задания.

После успешной подачи вы можете проверить статус ваших текущих заявок с помощью

 bstat